API Terhosting vs menyewa GPU untuk model 35B
Diperbarui · harga diperiksa pada tanggal tersebut
Model 35B-A3B 4-bit muat pada satu GPU 48 GB, sehingga self-hosting realistis. Apakah itu menguntungkan tergantung pada berapa banyak token yang Anda gunakan setiap bulan.
Poin kunci
- Bobot 4-bit dari model 35B-A3B memakan sekitar 23 GiB, sehingga satu kartu 48 GB sudah cukup untuk konteks 64.000 token.
- A rented L40S costs $0.79–$1.09 an hour on RunPod: about $577–$796 a month around the clock.
- Dengan harga Dolphin LLM, $577 dapat membeli sekitar 2,6 miliar token per bulan dengan campuran input/output 80/20 yang umum.
- Self-hosting masuk akal pada volume tinggi yang stabil; di bawah itu, biaya API yang di-host lebih murah dan tidak memerlukan perawatan.
Hardware apa yang dibutuhkan model
Bobot resmi 4-bit (GPTQ-Int4) dari Qwen3.5-35B-A3B total sekitar 22,7 GiB. Pada kartu 48 GB, sisa sekitar 20 GB untuk cache KV, yang cukup untuk konteks 64.000 token dengan beberapa permintaan paralel. Konteks yang lebih panjang atau lebih banyak pengguna paralel membutuhkan lebih banyak memori atau lebih banyak kartu.
Harga sewa
| GPU | Di mana | Per jam | Per bulan, 24/7 |
|---|---|---|---|
| L40S 48 GB | Komunitas RunPod / Aman | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (median dari 4 penawaran) | $0.80 | $584 |
| RTX A6000 48 GB | Komunitas RunPod / Aman | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod Secure (PCIe) | $2.89 | $2,110 |
Angka bulanan adalah harga per jam × 730 jam, tanpa penyimpanan, lalu lintas, atau waktu kartu menganggur.
Titik impas
Campuran tipikal 80% token input dan 20% token output berharga $0,22 per juta token di Dolphin LLM. Jadi harga kartu yang disewa per bulan dapat membeli:
| Anggaran bulanan | Setara di Dolphin LLM | Per hari |
|---|---|---|
| $241 (RTX A6000, Community) | sekitar 1,1 miliar token | sekitar 36 juta |
| $577 (L40S, Community) | sekitar 2,6 miliar token | sekitar 87 juta |
| $796 (L40S, Secure) | sekitar 3,6 miliar token | sekitar 120 juta |
Jika Anda menggunakan lebih sedikit token dari ini, API terhosting lebih murah. Di atasnya, kartu yang disewa bisa menang, asalkan sibuk sebagian besar hari.
Biaya yang tidak tercantum dalam daftar harga
- Pengaturan dan pembaruan: server inferensi, driver, unduhan model, pemantauan.
- Waktu tunggu: kartu yang disewa harganya sama pada malam hari saat tidak ada permintaan yang dikirim.
- Puncak: satu kartu melayani jumlah permintaan paralel yang terbatas; lebih banyak pengguna berarti lebih banyak kartu.
Mana yang harus dipilih
- Self-host jika Anda memiliki volume tinggi yang stabil, membutuhkan kontrol penuh atas stack, atau konteks lebih panjang dari 64.000 token.
- Gunakan Dolphin LLM jika volume Anda di bawah titik impas, bervariasi dari hari ke hari, atau Anda tidak ingin menjalankan server.
Sumber
Harga berubah. Periksa halaman setiap penyedia sebelum Anda memutuskan.
Pertanyaan dan jawaban
Bisakah saya menjalankan model yang sama di komputer saya sendiri?
Ya, dengan GPU yang memiliki memori cukup: bobot 4-bit memakan sekitar 23 GiB, sehingga kartu 48 GB nyaman dan kartu 24 GB terlalu kecil untuk konteks yang berguna.
Apakah API yang di-host lebih lambat daripada GPU lokal?
Ini menambah latensi jaringan di atas waktu generasi. Kecepatan generasi bergantung pada beban server bersama; untuk obrolan dan sebagian besar pekerjaan batch, perbedaannya kecil.