API ospitata vs noleggio GPU per un modello da 35B
Aggiornato · prezzi verificati in quella data
Un modello 4-bit da 35B-A3B si adatta a una singola GPU da 48 GB, quindi l'hosting self-hosted è realistico. Se conviene dipende da quanti token utilizzi ogni mese.
Punti chiave
- I pesi a 4 bit di un modello da 35B-A3B occupano circa 23 GiB, quindi una scheda da 48 GB è sufficiente per un contesto di 64.000 token.
- A rented L40S costs $0.79–$1.09 an hour on RunPod: about $577–$796 a month around the clock.
- Ai prezzi di Dolphin LLM, $577 acquistano circa 2,6 miliardi di token al mese con una tipica suddivisione 80/20 input/output.
- Il self-hosting ha senso con volumi costanti e molto elevati; al di sotto di tale soglia, l'API ospitata costa meno e non richiede manutenzione.
Che hardware serve al modello
I pesi ufficiali a 4 bit (GPTQ-Int4) di Qwen3.5-35B-A3B ammontano a circa 22,7 GiB. Su una scheda da 48 GB rimangono circa 20 GB per la cache KV, sufficienti per un contesto di 64.000 token con alcune richieste parallele. Contesti più lunghi o più utenti paralleli richiedono più memoria o più schede.
Prezzi di noleggio
| GPU | Dove | All'ora | Al mese, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / Sicuro | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (mediana di 4 offerte) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / Sicuro | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod Secure (PCIe) | $2.89 | $2,110 |
Le cifre mensili sono calcolate come prezzo orario × 730 ore, senza includere storage, traffico o il tempo in cui la carta rimane inattiva.
Break-even
Un mix tipico dell'80% di token di input e del 20% di token di output costa $0,22 per milione di token su Dolphin LLM. Quindi il prezzo mensile di una scheda in affitto permette di acquistare:
| Budget mensile | Uguale su Dolphin LLM | Al giorno |
|---|---|---|
| $241 (RTX A6000, Community) | circa 1,1 miliardi di token | circa 36 milioni |
| $577 (L40S, Community) | circa 2,6 miliardi di token | circa 87 milioni |
| $796 (L40S, Secure) | circa 3,6 miliardi di token | circa 120 milioni |
Se utilizzi meno token di questo, l'API ospitata è più economica. Superato questo limite, una GPU noleggiata può risultare più conveniente, a patto che sia utilizzata per la maggior parte della giornata.
Costi non presenti nel listino prezzi
- Configurazione e aggiornamenti: server di inferenza, driver, download dei modelli, monitoraggio.
- Tempo di inattività: una GPU noleggiata costa ugualmente di notte quando non vengono inviate richieste.
- Picchi: una carta serve un numero limitato di richieste parallele; più utenti significano più carte.
Quale scegliere
- Self-hosting se hai un volume costante e molto elevato, necessiti di un controllo completo dello stack o di un contesto superiore a 64.000 token.
- Usa Dolphin LLM se il tuo volume è inferiore al punto di pareggio, varia da giorno a giorno o se non vuoi gestire i server.
Fonti
I prezzi cambiano. Controlla la pagina di ciascun provider prima di decidere.
Domande e risposte
Posso eseguire lo stesso modello sul mio computer?
Sì, con una GPU con memoria sufficiente: i pesi a 4 bit occupano circa 23 GiB, quindi una scheda da 48 GB è comoda e una da 24 GB è troppo piccola per un contesto utile.
L'API ospitata è più lenta di una GPU locale?
Aggiunge latenza di rete oltre al tempo di generazione. La velocità di generazione dipende dal carico sui server condivisi; per chat e la maggior parte dei lavori batch la differenza è minima.