Хостований API проти оренди GPU для моделі на 35B параметрів
Оновлено · ціни перевірено на ту дату
4-бітна модель 35B-A3B поміщається на одну GPU з 48 ГБ, тому самостійний хостинг є реалістичним. Чи виправдає себе це, залежить від того, скільки токенів ви використовуєте щомісяця.
Ключові моменти
- Ваги моделі 35B-A3B у 4-бітному форматі займають близько 23 GiB, тому однієї карти на 48 ГБ достатньо для контексту на 64 000 токенів.
- Оренда L40S коштує $0.79–$1.09 на годину на RunPod: приблизно $577–$796 на місяць при цілодобовій роботі.
- За цінами Dolphin LLM $577 купують приблизно 2,6 мільярда токенів на місяць при типовому співвідношенні вхідних/вихідних даних 80/20.
- Власний хостинг має сенс при стабільному дуже високому навантаженні; у інших випадках хмарний API коштує менше і не потребує обслуговування.
Яке апаратне забезпечення потрібно моделі
Офіційні ваги Qwen3.5-35B-A3B у 4-бітному форматі (GPTQ-Int4) займають близько 22.7 GiB. На карті на 48 ГБ залишається приблизно 20 ГБ для кешу KV, чого достатньо для контексту на 64 000 токенів із кількома паралельними запитами. Довші контексти або більше паралельних користувачів потребують більше пам'яті або більше карт.
Ціни на оренду
| GPU | Де | На годину | На місяць, 24/7 |
|---|---|---|---|
| L40S 48 ГБ | RunPod Community / Безпечно | $0.79 / $1.09 | $577 / $796 |
| L40S 48 ГБ | Vast.ai (середнє значення з 4 пропозицій) | $0.80 | $584 |
| RTX A6000 48 ГБ | RunPod Community / Безпечно | $0.33 / $0.59 | $241 / $431 |
| A100 80 ГБ | RunPod Secure | $1.79 | $1,307 |
| H100 80 ГБ | RunPod Secure (PCIe) | $2.89 | $2,110 |
Місячні показники розраховуються як годинна ціна × 730 годин, без урахування зберігання, трафіку або часу простою картки.
Точка беззбитковості
Типова суміш з 80% входження та 20% виходження токенів коштує $0.22 за мільйон токенів у Dolphin LLM. Отже, місячна вартість оренди карти дозволяє:
| Місячний бюджет | Ціни на Dolphin LLM | На день |
|---|---|---|
| $241 (RTX A6000, Community) | близько 1,1 мільярда токенів | близько 36 млн |
| $577 (L40S, Community) | близько 2,6 млрд токенів | близько 87 млн |
| $796 (L40S, Secure) | близько 3,6 млрд токенів | близько 120 мільйонів |
Якщо ви використовуєте менше токенів, ніж ця межа, хостований API дешевший. Вище цієї межі орендована карта може виграти, за умови, що вона зайнята більшу частину дня.
Витрати, які не вказані в прайс-листі
- Налаштування та оновлення: сервер висновку, драйвери, завантаження моделей, моніторинг.
- Час простою: орендована карта коштує стільки ж вночі, коли ніхто не надсилає запити.
- Сезонні піки: одна картка обслуговує обмежену кількість паралельних запитів; більше користувачів — більше карток.
Яку обрати
- Власний хостинг має сенс при стабільному дуже високому навантаженні, необхідності повного контролю над стеком або контексті довше 64 000 токенів.
- Використовуйте Dolphin LLM, якщо ваш обсяг нижче точки беззбитковості, змінюється з дня на день або ви не хочете запускати власні сервери.
Джерела
Ціни змінюються. Перевіряйте сторінку кожного провайдера перед прийняттям рішення.
Питання та відповіді
Чи можу я запустити ту саму модель на своєму комп’ютері?
Так, за умови наявності GPU з достатньою пам'яттю: ваги в 4-бітному форматі займають близько 23 GiB, тому карта на 48 ГБ є зручною, а карта на 24 ГБ замала для корисного контексту.
Чи є хмарний API повільнішим за локальну GPU?
Це додає мережеву затримку до часу генерації. Швидкість генерації залежить від навантаження на спільні сервери; для чату та більшості пакетних завдань різниця незначна.