Reducir un modelo implica mucho más que disminuir el tamaño del archivo. El uso de memoria, la calidad de las respuestas, la latencia y la carga de mantenimiento cambian al mismo tiempo. El nivel de cuantización adecuado depende de la pérdida que pueda aceptar tu caso de uso.
4 bits no siempre es la respuesta adecuada
Una cuantización más agresiva reduce el uso de memoria, pero puede perder coherencia y matices en determinadas tareas. La evaluación debe realizarse con tus propios datos y tareas, no con un benchmark genérico.
Los verdaderos factores de coste
El hardware es solo el principio. La puesta a disposición del modelo, la monitorización, los parches de seguridad, la planificación de capacidad y la respuesta ante incidentes representan una parte importante del coste operativo.
- Capacidad de GPU o memoria unificada
- Usuarios simultáneos y rendimiento de tokens
- Proceso de actualización y reversión del modelo
- Energía, refrigeración y tiempo de operación
¿Nube o infraestructura local?
Los datos sensibles, un tráfico bajo y predecible o los requisitos sin conexión favorecen la infraestructura local. El escalado rápido y la experimentación con distintos modelos pueden inclinar la balanza hacia las API gestionadas.