¿Cómo escalas inferencia de modelos?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Escalar empieza con un perfil de una solicitud: el tiempo de preprocesamiento, el de obtención de features y el cómputo del modelo suelen estar en proporciones sorprendentes, y el mayor es el objetivo. El cómputo escala con batching dinámico, modelos cuantizados o destilados, runtimes eficientes como ONNX Runtime o TensorRT y aceleradores acordes al tamaño del modelo. La capacidad escala con autoscaling por profundidad de cola y latencia en lugar de CPU, con concurrencia acotada por réplica para que la latencia de cola se mantenga plana. La caché ayuda cuando se repiten entradas idénticas, el descarte de carga protege la cola cuando la demanda supera la capacidad, y cada cambio se mide contra el mismo p99 con un patrón de tráfico reproducido.

Ejemplo

Un endpoint de clasificación de texto gastaba el 70 por ciento de su latencia en la tokenización en Python; pasar a un tokenizador compilado y agrupar 32 solicitudes por llamada a GPU triplicó el throughput antes de tocar el modelo. El autoscaling por profundidad de cola con un máximo de 8 solicitudes en vuelo por réplica mantuvo el p99 por debajo de 80 ms durante un pico de tráfico 10x, mientras una tasa de acierto de caché del 5 por ciento en entradas repetidas resultó no valer la complejidad.

Errores frecuentes

• Comprar GPUs más grandes antes de perfilar dónde se va realmente el tiempo.
• Autoscalar por uso de CPU en un servicio limitado por GPU.
• Dejar concurrencia sin límite por réplica y convertir un pico en un colapso de latencia.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.