API hébergée vs location de GPU pour un modèle de 35 milliards de paramètres
Mis à jour · prix vérifiés à cette date
Un modèle 4-bit 35B-A3B tient sur une seule GPU 48 Go, ce qui rend l’auto-hébergement réaliste. Cela vaut-il le coup dépend du nombre de tokens que vous utilisez chaque mois.
Points clés
- Les poids 4 bits d'un modèle 35B-A3B prennent environ 23 GiB, donc une carte de 48 Go suffit pour un contexte de 64 000 jetons.
- Une L40S louée coûte 0,79–1,09 $ l’heure sur RunPod : environ 577–796 $ par mois en continu.
- Aux prix de Dolphin LLM, 577 $ permettent d'acheter environ 2,6 milliards de tokens par mois avec un mélange entrée/sortie typique de 80/20.
- L'auto-hébergement est judicieux pour un volume élevé et stable ; en dessous, l'API hébergée coûte moins cher et ne nécessite aucune maintenance.
Matériel requis par le modèle
Les poids officiels 4 bits (GPTQ-Int4) de Qwen3.5-35B-A3B totalisent environ 22,7 GiB. Sur une carte de 48 Go, cela laisse environ 20 Go pour le cache KV, ce qui suffit pour un contexte de 64 000 jetons avec quelques requêtes parallèles. Des contextes plus longs ou plus d'utilisateurs parallèles nécessitent plus de mémoire ou plus de cartes.
Prix de location
| GPU | Où | Par heure | Per month, 24/7 |
|---|---|---|---|
| L40S 48 Go | Communauté RunPod / Sécurisé | $0.79 / $1.09 | $577 / $796 |
| L40S 48 Go | Vast.ai (médiane de 4 offres) | $0.80 | $584 |
| RTX A6000 48 Go | Communauté RunPod / Sécurisé | $0.33 / $0.59 | $241 / $431 |
| A100 80 Go | RunPod Sécurisé | $1.79 | $1,307 |
| H100 80 Go | RunPod Sécurisé (PCIe) | $2.89 | $2,110 |
Les chiffres mensuels correspondent au prix horaire × 730 heures, sans stockage, trafic ni temps d'inactivité de la carte.
Seuil de rentabilité
Un mélange typique de 80 % de tokens d’entrée et 20 % de tokens de sortie coûte 0,22 $ par million de tokens sur Dolphin LLM. Ainsi, le prix mensuel d’une carte louée permet d’acheter :
| Budget mensuel | Égalité sur Dolphin LLM | Par jour |
|---|---|---|
| $241 (RTX A6000, Community) | environ 1,1 milliard de tokens | environ 36 millions |
| $577 (L40S, Community) | environ 2,6 milliards de tokens | environ 87 millions |
| $796 (L40S, Secure) | environ 3,6 milliards de tokens | environ 120 millions |
Si vous utilisez moins de tokens que ce seuil, l'API hébergée est moins chère. Au-delà, une carte louée peut s'avérer plus avantageuse, à condition qu'elle soit utilisée la majeure partie de la journée.
Coûs non listés
- Configuration et mises à jour : serveur d'inférence, pilotes, téléchargements de modèles, surveillance.
- Temps d'inactivité : une carte louée coûte le même prix la nuit quand personne n'envoie de requêtes.
- Points forts : une carte sert un nombre limité de requêtes parallèles ; plus d'utilisateurs signifient plus de cartes.
Lequel choisir
- Auto-hébergez si vous avez un volume élevé et stable, besoin d'un contrôle total de la pile ou d'un contexte supérieur à 64 000 tokens.
- Utilisez Dolphin LLM si votre volume est inférieur au seuil de rentabilité, varie d'un jour à l'autre, ou si vous ne souhaitez pas gérer de serveurs.
Sources
Les prix changent. Consultez la page de chaque fournisseur avant de décider.
Questions et réponses
Puis-je exécuter le même modèle sur mon propre ordinateur ?
Oui, avec un GPU disposant de suffisamment de mémoire : les poids en 4 bits prennent environ 23 GiB, donc une carte de 48 Go est confortable et une carte de 24 Go est trop petite pour un contexte utile.
L'API hébergée est-elle plus lente qu'un GPU local ?
Cela ajoute une latence réseau à la latence de génération. La vitesse de génération dépend de la charge des serveurs partagés ; pour le chat et la plupart des traitements par lots, la différence est minime.