Gehostete API vs. GPU-Miete für ein 35B-Modell
Aktualisiert · Preise an diesem Datum geprüft
Ein 4-Bit-35B-A3B-Modell passt auf eine einzelne 48-GB-GPU, daher ist Self-Hosting realistisch. Ob es sich lohnt, hängt davon ab, wie viele Tokens du monatlich verwendest.
Wichtige Punkte
- Die 4-Bit-Gewichte eines 35B-A3B-Modells belegen etwa 23 GiB, daher reicht eine 48-GB-Karte für einen Kontext von 64.000 Token.
- Eine gemietete L40S kostet auf RunPod $0,79–$1,09 pro Stunde: etwa $577–$796 pro Monat durchgehend.
- Bei den Preisen von Dolphin LLM kaufen Sie für 577 $ etwa 2,6 Milliarden Tokens pro Monat bei einem typischen 80/20-Eingabe-/Ausgabe-Verhältnis.
- Selbst-Hosting macht bei gleichmäßigem, sehr hohem Volumen Sinn; darunter ist die gehostete API günstiger und benötigt keine Wartung.
Welche Hardware das Modell benötigt
Die offiziellen 4-Bit-Gewichte (GPTQ-Int4) von Qwen3.5-35B-A3B betragen etwa 22,7 GiB. Auf einer 48-GB-Karte verbleiben etwa 20 GB für den KV-Cache, was für einen Kontext von 64.000 Token mit einigen parallelen Anfragen ausreicht. Längere Kontexte oder mehr parallele Benutzer benötigen mehr Speicher oder mehr Karten.
Mietpreise
| GPU | Wo | Pro Stunde | Pro Monat, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / Sicher | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (Median von 4 Angeboten) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / Sicher | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod Secure (PCIe) | $2.89 | $2,110 |
Monatliche Werte berechnen sich aus dem Stundenpreis × 730 Stunden, ohne Speicher, Traffic oder Leerlaufzeit der Karte.
Break-even
Eine typische Mischung aus 80% Input- und 20% Output-Tokens kostet $0,22 pro Million Tokens auf Dolphin LLM. Der monatliche Preis einer gemieteten Karte kauft also:
| Monatliches Budget | Gleich auf Dolphin LLM | Pro Tag |
|---|---|---|
| $241 (RTX A6000, Community) | etwa 1,1 Milliarden Tokens | ca. 36 Millionen |
| $577 (L40S, Community) | ca. 2,6 Milliarden Tokens | ca. 87 Millionen |
| $796 (L40S, Secure) | ca. 3,6 Milliarden Tokens | etwa 120 Millionen |
Wenn Sie weniger Tokens als diesen Wert verbrauchen, ist die gehostete API günstiger. Darüber hinaus kann eine gemietete Karte gewinnen, sofern sie den Großteil des Tages ausgelastet ist.
Kosten, die nicht in der Preisliste aufgeführt sind
- Einrichtung und Updates: Inference-Server, Treiber, Modell-Downloads, Monitoring.
- Leerlaufzeit: Eine gemietete Karte kostet nachts gleich viel, wenn niemand Anfragen sendet.
- Spitzenzeiten: Eine Karte bedingt eine begrenzte Anzahl paralleler Anfragen; mehr Nutzer bedeuten mehr Karten.
Welches soll man wählen
- Selbst hosten, wenn Sie ein gleichmäßiges, sehr hohes Volumen haben, die volle Kontrolle über den Stack benötigen oder einen Kontext länger als 64.000 Tokens brauchen.
- Nutzen Sie Dolphin LLM, wenn Ihr Volumen unter dem Break-even-Punkt liegt, von Tag zu Tag schwankt oder Sie keine Server betreiben möchten.
Quellen
Die Preise ändern sich. Prüfen Sie die Seite jedes Anbieters, bevor Sie sich entscheiden.
Fragen und Antworten
Kann ich das gleiche Modell auf meinem eigenen Computer ausführen?
Ja, mit einer GPU, die genügend Speicher hat: Die 4-Bit-Gewichte benötigen etwa 23 GiB, daher ist eine 48-GB-Karte komfortabel und eine 24-GB-Karte ist für einen nützlichen Kontext zu klein.
Ist die gehostete API langsamer als eine lokale GPU?
Dies fügt der Generierungszeit eine Netzwerklatenz hinzu. Die Generierungsgeschwindigkeit hängt von der Auslastung der Shared-Server ab; bei Chat und den meisten Batch-Aufgaben ist der Unterschied gering.