¿Cómo monitorizas un modelo de machine learning desplegado?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Monitorizar un modelo desplegado tiene cuatro capas. La de servicio es como cualquier API: percentiles de latencia, tasa de errores, saturación y activación del respaldo. La de datos comprueba que las entradas coinciden con el esquema esperado, que las tasas de ausentes y las distribuciones se mantienen cerca de la línea base de entrenamiento y que la frescura aguas arriba se cumple. La de predicción sigue la distribución de salida, la confianza y la proporción de predicciones que disparan la acción, para que un modelo que de repente marca todo se detecte en minutos. La de resultados une etiquetas retrasadas para calcular exactitud, calibración e impacto de negocio por versión y segmento. Las alertas llegan al equipo dueño con la versión adjunta.

Ejemplo

El panel de un modelo de puntuación de leads muestra p99 de 40 ms, una puntuación de deriva por entrada, la proporción diaria de leads por encima del umbral y, con 30 días de retraso, la precisión por versión y región. Saltó una alerta cuando la proporción de puntuaciones altas se duplicó en un día; la causa fue un cambio en el CRM que rellenó con un valor por defecto un campo antes escaso, detectado por la capa de datos antes de que ventas lo notara.

Errores frecuentes

• Monitorizar solo la disponibilidad y tratar un modelo equivocado como sano.
• Saltarse la monitorización de resultados porque las etiquetas llegan tarde.
• Agregar entre versiones durante un despliegue, de modo que los problemas del modelo nuevo se diluyen.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.