API แบบโฮสต์ vs การเช่า GPU สำหรับโมเดลขนาด 35B
อัปเดตแล้ว · ราคาตรวจสอบในวันที่นั้น
โมเดล 4-bit ขนาด 35B-A3B สามารถรันบน GPU 48 GB เพียงตัวเดียว ทำให้การ self-hosting เป็นไปได้จริงว่าการลงทุนนี้จะคุ้มค่าหรือไม่ขึ้นอยู่กับจำนวน tokens ที่คุณใช้ต่อเดือน
จุดสำคัญ
- น้ำหนักแบบ 4-bit ของโมเดล 35B-A3B ใช้พื้นที่ประมาณ 23 GiB ดังนั้นการ์ด 48 GB เพียงใบเดียวก็เพียงพอสำหรับ context ขนาด 64,000 tokens
- ค่าเช่า L40S บน RunPod อยู่ที่ $0.79–$1.09 ต่อชั่วโมง: ประมาณ $577–$796 ต่อเดือนแบบต่อเนื่อง
- ที่ราคาของ Dolphin LLM เงิน $577 สามารถซื้อโทเค็นได้ประมาณ 2.6 พันล้านโทเค็นต่อเดือน โดยมีการผสมผสานระหว่างอินพุตและเอาต์พุตในอัตราส่วน 80/20
- การโฮสต์ด้วยตนเองมีความคุ้มค่าเมื่อมีปริมาณการใช้งานสูงอย่างสม่ำเสมอ ในกรณีอื่น ๆ API แบบโฮสต์มีต้นทุนต่ำกว่าและไม่ต้องดูแลรักษา
โมเดลต้องการฮาร์ดแวร์อะไรบ้าง
น้ำหนักแบบทางการ 4-bit (GPTQ-Int4) ของ Qwen3.5-35B-A3B มีขนาดประมาณ 22.7 GiB บนการ์ด 48 GB จะเหลือพื้นที่ประมาณ 20 GB สำหรับ KV cache ซึ่งเพียงพอสำหรับ context ขนาด 64,000 tokens พร้อม parallel requests เล็กน้อย context ที่ยาวกว่าหรือผู้ใช้ parallel มากกว่าต้องการหน่วยความจำมากขึ้นหรือการ์ดมากขึ้น
ราคาเช่า
| GPU | ที่ไหน | ต่อชั่วโมง | ต่อเดือน, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / ปลอดภัย | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (ค่ามัธยฐานของ 4 ข้อเสนอ) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / ปลอดภัย | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod Secure (PCIe) | $2.89 | $2,110 |
ตัวเลขรายเดือนคำนวณจากราคาต่อชั่วโมง × 730 ชั่วโมง โดยไม่รวมการจัดเก็บข้อมูล การใช้งานเครือข่าย หรือเวลาที่บัตรอยู่ในสถานะรอใช้งาน
จุดคุ้มทุน
สัดส่วนทั่วไปของ input tokens 80% และ output tokens 20% มีราคา $0.22 ต่อล้าน tokens บน Dolphin LLM ดังนั้นราคาต่อเดือนของการ์ดเช่าสามารถซื้อได้:
| งบประมาณรายเดือน | เทียบเท่าบน Dolphin LLM | ต่อวัน |
|---|---|---|
| $241 (RTX A6000, Community) | ประมาณ 1.1 พันล้าน token | ประมาณ 36 ล้าน |
| $577 (L40S, Community) | ประมาณ 2.6 พันล้านโทเค็น | ประมาณ 87 ล้าน |
| $796 (L40S, Secure) | ประมาณ 3.6 พันล้านโทเค็น | ประมาณ 120 ล้าน |
หากคุณใช้ token น้อยกว่านี้ API แบบโฮสต์จะมีราคาถูกกว่า หากใช้มากกว่านั้น การ์ดที่เช่าอาจคุ้มค่ากว่า หากการ์ดทำงานหนักตลอดทั้งวัน
ค่าใช้จ่ายที่ไม่อยู่ในรายการราคา
- การตั้งค่าและการอัปเดต: เซิร์ฟเวอร์อนุมาน, ไดรเวอร์, ดาวน์โหลดโมเดล, การตรวจสอบ
- เวลาว่าง: การ์ดที่เช่ามีราคาเท่ากันตอนกลางคืนเมื่อไม่มีใครส่งคำขอ
- ช่วง高峰: การ์ดหนึ่งใบรองรับจำนวนคำขอแบบขนานได้จำกัด; ผู้ใช้มากขึ้นหมายถึงต้องใช้การ์ดมากขึ้น
ควรเลือกอันไหน
- โฮสต์ด้วยตนเองหากคุณมีปริมาณการใช้งานสูงอย่างสม่ำเสมอ ต้องการควบคุมระบบอย่างเต็มรูปแบบ หรือต้องการ context ยาวกว่า 64,000 token
- ใช้ Dolphin LLM หากปริมาณการใช้งานของคุณอยู่ต่ำกว่าจุดคุ้มทุน เปลี่ยนแปลงไปมาในแต่ละวัน หรือคุณไม่ต้องการรันเซิร์ฟเวอร์เอง
แหล่งที่มา
ราคาเปลี่ยนแปลง ตรวจสอบหน้าของผู้ให้บริการแต่ละรายก่อนตัดสินใจ
คำถามและคำตอบ
ฉันสามารถรันโมเดลเดียวกันบนคอมพิวเตอร์ของตัวเองได้หรือไม่
ใช่ หาก GPU มีหน่วยความจำเพียงพอ: น้ำหนักแบบ 4-bit ใช้พื้นที่ประมาณ 23 GiB ดังนั้นการ์ด 48 GB จึงใช้งานสบาย และการ์ด 24 GB เล็กเกินไปสำหรับ context ที่มีประโยชน์
API ที่โฮสต์มีความช้ากว่า GPU ในเครื่องหรือไม่?
มันเพิ่มเวลาหน่วงของเครือข่ายเข้าไปในเวลาที่ใช้ในการสร้าง ความเร็วในการสร้างขึ้นอยู่กับภาระงานบนเซิร์ฟเวอร์ที่ใช้ร่วมกัน; สำหรับการแชทและงานแบทช์ส่วนใหญ่ ความแตกต่างมีน้อย