API alojada vs. alquilar una GPU para un modelo de 35B
Actualizado · precios verificados en esa fecha
Un modelo de 35B-A3B en 4 bits cabe en una GPU de 48 GB, por lo que el autoalojamiento es realista. Si vale la pena depende de cuántos tokens uses cada mes.
Puntos clave
- Los pesos de 4 bits de un modelo de 35B-A3B ocupan aproximadamente 23 GiB, por lo que una tarjeta de 48 GB es suficiente para un contexto de 64.000 tokens.
- A rented L40S costs $0.79–$1.09 an hour on RunPod: about $577–$796 a month around the clock.
- A los precios de Dolphin LLM, $577 compran aproximadamente 2.6 mil millones de tokens al mes en una mezcla típica de entrada/salida 80/20.
- El autoalojamiento tiene sentido con un volumen constante y muy alto; por debajo de eso, la API alojada cuesta menos y no requiere mantenimiento.
Qué hardware necesita el modelo
Los pesos oficiales de 4 bits (GPTQ-Int4) de Qwen3.5-35B-A3B suman aproximadamente 22.7 GiB. En una tarjeta de 48 GB, quedan aproximadamente 20 GB para la caché KV, lo que es suficiente para un contexto de 64.000 tokens con algunas solicitudes paralelas. Contextos más largos o más usuarios paralelos requieren más memoria o más tarjetas.
Precios de alquiler
| GPU | Dónde | Por hora | Por mes, 24/7 |
|---|---|---|---|
| L40S 48 GB | Comunidad de RunPod / Seguro | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (mediana de 4 ofertas) | $0.80 | $584 |
| RTX A6000 48 GB | Comunidad de RunPod / Seguro | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Seguro | $1.79 | $1,307 |
| H100 80 GB | RunPod Seguro (PCIe) | $2.89 | $2,110 |
Las cifras mensuales son precio por hora × 730 horas, sin almacenamiento, tráfico ni el tiempo que la tarjeta permanece inactiva.
Punto de equilibrio
Una mezcla típica de 80% de tokens de entrada y 20% de tokens de salida cuesta $0.22 por millón de tokens en Dolphin LLM. Así que el precio mensual de una tarjeta alquilada compra:
| Presupuesto mensual | Igual en Dolphin LLM | Por día |
|---|---|---|
| $241 (RTX A6000, Community) | aproximadamente 1.1 mil millones de tokens | aproximadamente 36 millones |
| $577 (L40S, Community) | aproximadamente 2.6 mil millones de tokens | aproximadamente 87 millones |
| $796 (L40S, Secure) | aproximadamente 3.6 mil millones de tokens | unos 120 millones |
Si usas menos tokens que esto, la API alojada es más barata. Por encima de ese umbral, una tarjeta alquilada puede resultar más rentable, siempre que esté ocupada la mayor parte del día.
Costes no incluidos en la lista de precios
- Configuración y actualizaciones: servidor de inferencia, controladores, descargas de modelos, monitoreo.
- Tiempo inactivo: una tarjeta alquilada cuesta lo mismo por la noche cuando nadie envía solicitudes.
- Picos: una tarjeta sirve para un número limitado de solicitudes paralelas; más usuarios implican más tarjetas.
Cuál elegir
- Autoaloja si tienes un volumen constante y muy alto, necesitas control total de la pila o un contexto superior a 64.000 tokens.
- Usa Dolphin LLM si tu volumen está por debajo del punto de equilibrio, varía de día en día o no quieres ejecutar servidores.
Fuentes
Los precios cambian. Consulta la página de cada proveedor antes de decidir.
Preguntas y respuestas
¿Puedo ejecutar el mismo modelo en mi propia computadora?
Sí, con una GPU que tenga suficiente memoria: los pesos de 4 bits ocupan unos 23 GiB, por lo que una tarjeta de 48 GB es cómoda y una de 24 GB es demasiado pequeña para un contexto útil.
¿Es la API alojada más lenta que una GPU local?
Añade latencia de red además del tiempo de generación. La velocidad de generación depende de la carga en los servidores compartidos; para chat y la mayoría de trabajos por lotes, la diferencia es pequeña.