API hospedada vs. aluguel de GPU para um modelo de 35B
Atualizado · preços verificados nessa data
Um modelo de 35B-A3B em 4 bits cabe em uma única GPU de 48 GB, então o auto-hospedagem é viável. Se compensa depende de quantos tokens você usa por mês.
Pontos-chave
- Os pesos de 4 bits de um modelo de 35B-A3B ocupam cerca de 23 GiB, portanto, uma placa de 48 GB é suficiente para um contexto de 64.000 tokens.
- A rented L40S costs $0.79–$1.09 an hour on RunPod: about $577–$796 a month around the clock.
- Pelos preços do Dolphin LLM, US$ 577 compram aproximadamente 2,6 bilhões de tokens por mês em uma mistura típica de entrada/saída de 80/20.
- Self-hosting faz sentido em volume constante e muito alto; abaixo disso, a API hospedada custa menos e não requer manutenção.
Qual hardware o modelo precisa
Os pesos oficiais de 4 bits (GPTQ-Int4) do Qwen3.5-35B-A3B totalizam cerca de 22,7 GiB. Em uma placa de 48 GB, restam aproximadamente 20 GB para o cache KV, o que é suficiente para um contexto de 64.000 tokens com algumas solicitações paralelas. Contextos mais longos ou mais usuários paralelos exigem mais memória ou mais placas.
Preços de aluguel
| GPU | Onde | Por hora | Por mês, 24/7 |
|---|---|---|---|
| L40S 48 GB | Comunidade RunPod / Seguro | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (mediana de 4 ofertas) | $0.80 | $584 |
| RTX A6000 48 GB | Comunidade RunPod / Seguro | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Seguro | $1.79 | $1,307 |
| H100 80 GB | RunPod Seguro (PCIe) | $2.89 | $2,110 |
Os valores mensais são calculados como preço por hora × 730 horas, sem armazenamento, tráfego ou tempo de inatividade do cartão.
Ponto de equilíbrio
Uma mistura típica de 80% de tokens de entrada e 20% de tokens de saída custa $0,22 por milhão de tokens no Dolphin LLM. Portanto, o preço mensal de uma placa alugada compra:
| Orçamento mensal | Igual ao Dolphin LLM | Por dia |
|---|---|---|
| $241 (RTX A6000, Community) | cerca de 1,1 bilhão de tokens | cerca de 36 milhões |
| $577 (L40S, Community) | cerca de 2,6 bilhões de tokens | cerca de 87 milhões |
| $796 (L40S, Secure) | cerca de 3,6 bilhões de tokens | cerca de 120 milhões |
Se você usar menos tokens do que isso, a API hospedada será mais barata. Acima disso, uma GPU alugada pode ser mais vantajosa, desde que esteja ocupada a maior parte do dia.
Custos não listados no preço
- Configuração e atualizações: servidor de inferência, drivers, downloads de modelos, monitoramento.
- Tempo ocioso: uma GPU alugada custa o mesmo à noite quando ninguém envia solicitações.
- Picos: um cartão atende a um número limitado de solicitações paralelas; mais usuários significam mais cartões.
Qual escolher
- Self-host se você tiver volume constante e muito alto, precisar de controle total da stack ou de um contexto maior que 64.000 tokens.
- Use a Dolphin LLM se seu volume estiver abaixo do ponto de equilíbrio, variar de dia para dia ou se você não quiser gerenciar servidores.
Fontes
Os preços mudam. Verifique a página de cada provedor antes de decidir.
Perguntas e respostas
Posso executar o mesmo modelo no meu próprio computador?
Sim, com uma GPU que tenha memória suficiente: os pesos de 4 bits ocupam cerca de 23 GiB, portanto, uma placa de 48 GB é confortável e uma de 24 GB é pequena demais para um contexto útil.
A API hospedada é mais lenta que uma GPU local?
Adiciona latência de rede ao tempo de geração. A velocidade de geração depende da carga nos servidores compartilhados; para chat e a maioria dos trabalhos em lote, a diferença é pequena.