¿Cómo diseñas un sistema de model serving?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Un sistema de serving parte de números: el presupuesto de latencia por predicción, las solicitudes por segundo en pico, el objetivo de disponibilidad y cuán frescas deben ser las features. El modelo y el código de preprocesamiento se empaquetan y versionan juntos para que la transformación en inferencia coincida exactamente con la de entrenamiento. Las entradas se validan contra un esquema, las solicitudes se agrupan cuando el modelo se beneficia y el presupuesto de latencia lo permite, los workers escalan dentro de límites, los resultados seguros de reutilizar se cachean, y un respaldo como un modelo anterior o una heurística responde cuando el modelo no está disponible. Cada predicción se registra con su versión y features para monitorizar.

Ejemplo

Un modelo de ranking sirve 3.000 solicitudes por segundo con un presupuesto p99 de 50 ms: las features se obtienen de un almacén online, un servidor Triton agrupa solicitudes en ventanas de 5 ms, el contenedor del modelo declara su esquema de features y rechaza discrepancias, y si el almacén expira el servicio devuelve un ranking por popularidad con una marca. La versión 14 del modelo atendió el 10 por ciento del tráfico durante un día antes de tomarlo todo.

Errores frecuentes

• Reimplementar el preprocesamiento en el código de serving e introducir desajuste entre entrenamiento y serving.
• No tener respaldo, de modo que una caída del modelo se convierte en caída del producto.
• Registrar predicciones sin la versión del modelo, haciendo imposible atribuir incidentes.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.