Hosted API बनाम 35B मॉडल के लिए GPU किराए पर लेना
अपडेट किया गया · उस तारीख पर जाँचे गए दाम
एक 4-बिट 35B-A3B मॉडल एक 48 GB GPU पर फिट हो जाता है, इसलिए सेल्फ-होस्टिंग यथार्थवादी है। कि यह लाभदायक साबित होगा या नहीं, यह इस बात पर निर्भर करता है कि आप हर महीने कितने टोकन का उपयोग करते हैं।
मुख्य बिंदु
- 35B-A3B मॉडल के 4-बिट वजन लगभग 23 GiB लेते हैं, इसलिए 64,000-टोकन संदर्भ के लिए एक 48 जीबी कार्ड पर्याप्त है।
- A rented L40S costs $0.79–$1.09 an hour on RunPod: about $577–$796 a month around the clock.
- Dolphin LLM की कीमतों पर, $577 से एक सामान्य 80/20 इनपुट/आउटपुट मिश्रण में मासिक लगभग 2.6 अरब टोकन खरीदे जा सकते हैं।
- स्थिर, बहुत अधिक वॉल्यूम पर सेल्फ-होस्टिंग तर्कसंगत है; उससे नीचे होस्टेड API कम लागत वाला होता है और इसमें कोई रखरखाव नहीं चाहिए।
मॉडल को किस हार्डवेयर की आवश्यकता है
Qwen3.5-35B-A3B के आधिकारिक 4-बिट (GPTQ-Int4) वजन कुल मिलाकर लगभग 22.7 GiB हैं। एक 48 जीबी कार्ड पर, KV कैश के लिए लगभग 20 जीबी बचते हैं, जो कुछ समानांतर अनुरोधों के साथ 64,000-टोकन संदर्भ के लिए पर्याप्त है। लंबे संदर्भ या अधिक समानांतर उपयोगकर्ताओं को अधिक मेमोरी या अधिक कार्डों की आवश्यकता होती है।
किराया मूल्य
| GPU | कहाँ | प्रति घंटा | प्रति माह, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / सुरक्षित | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (4 ऑफ़र का मध्यिका) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / सुरक्षित | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod सुरक्षित (PCIe) | $2.89 | $2,110 |
मासिक आंकड़े घड़ी की कीमत × 730 घंटे हैं, भंडारण, ट्रैफ़िक या कार्ड के निष्क्रिय रहने के समय के बिना।
ब्रेक-ईवन
Dolphin LLM पर इनपुट टोकन का 80% और आउटपुट टोकन का 20% का एक सामान्य मिश्रण प्रति मिलियन टोकन $0.22 का खर्च लाता है। इसलिए, एक किराए की कार्ड की मासिक कीमत खरीद सकती है:
| मासिक बजट | Dolphin LLM पर बराबर | प्रति दिन |
|---|---|---|
| $241 (RTX A6000, Community) | लगभग 1.1 बिलियन टोकन | लगभग 36 मिलियन |
| $577 (L40S, Community) | लगभग 2.6 बिलियन टोकन | लगभग 87 मिलियन |
| $796 (L40S, Secure) | लगभग 3.6 बिलियन टोकन | लगभग 120 मिलियन |
यदि आप इससे कम टोकन का उपयोग करते हैं, तो होस्टेड API सस्ता है। इसके ऊपर, एक किराए पर ली गई कार्ड जीत सकती है, बशर्ते वह दिन के अधिकांश समय व्यस्त हो।
मूल सूची पर न होने वाली लागतें
- सेटअप और अपडेट: इनफरेंस सर्वर, ड्राइवर, मॉडल डाउनलोड, मॉनिटरिंग।
- Idle time: जब कोई अनुरोध नहीं भेजा जाता है, तो रात में किराए पर ली गई कार्ड की लागत समान रहती है।
- चोटियाँ: एक कार्ड सीमित संख्या में समानांतर अनुरोधों की सेवा देता है; अधिक उपयोगकर्ताओं का अर्थ अधिक कार्ड हैं।
किसका चयन करें
- अगर आपके पास स्थिर, बहुत अधिक वॉल्यूम है, आपको स्टैक पर पूर्ण नियंत्रण चाहिए या 64,000 टोकन से अधिक संदर्भ चाहिए, तो सेल्फ-होस्ट करें।
- अगर आपका वॉल्यूम ब्रेक-ईवन पॉइंट से नीचे है, दिन-प्रतिदिन बदलता रहता है, या आप सर्वर चलाना नहीं चाहते, तो Dolphin LLM का उपयोग करें।
स्रोत
कीमतें बदलती रहती हैं। निर्णय लेने से पहले प्रत्येक प्रदाता की पृष्ठताला देखें।
प्रश्न और उत्तर
क्या मैं अपने कंप्यूटर पर एक ही मॉडल चला सकता हूं?
हाँ, यदि GPU में पर्याप्त मेमोरी हो: 4-बिट वजन लगभग 23 GiB लेते हैं, इसलिए 48 GB कार्ड आरामदायक है और 24 GB कार्ड उपयोगी संदर्भ के लिए बहुत छोटा है।
क्या होस्टेड API, स्थानीय GPU से धीमा है?
यह जनरेशन समय के ऊपर नेटवर्क लेटेंसी जोड़ता है। जनरेशन स्पीड शेयर्ड सर्वर्स पर लोड पर निर्भर करती है; चैट और अधिकांश बैच वर्क के लिए अंतर नगण्य है।