¿Cómo monitorizas la deriva de un modelo?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

La monitorización de deriva compara lo que el modelo ve y produce en producción con una línea base versionada capturada al entrenar. La monitorización de entradas comprueba esquema, tasas de ausentes y distribuciones por feature con una medida de distancia y un umbral de alerta por feature. La de salidas sigue la distribución de predicciones y la confianza. Cuando las etiquetas llegan después, se calculan rendimiento y calibración sobre esa cohorte retrasada. Las alertas se segmentan para que un cambio en una región sea visible, y cada alerta se contrasta primero con el pipeline de datos, porque un join roto aguas arriba se ve exactamente igual que una deriva.

Ejemplo

El monitor de entradas de un modelo de previsión de demanda avisó de que la bandera de promoción pasó del 8 por ciento al 0 por ciento de las filas; la causa era una columna renombrada en la tabla fuente, no un cambio en el mundo, y el arreglo estuvo en el pipeline. Dos meses después, el error de predicción sobre los reales retrasados subió de forma sostenida en un país tras el lanzamiento de un competidor, y eso disparó un reentrenamiento con datos recientes en lugar de un arreglo de pipeline.

Errores frecuentes

• Alertar por cada cambio pequeño de distribución y enseñar al equipo a ignorar alertas.
• Reentrenar automáticamente ante deriva sin comprobar si el pipeline de datos se rompió.
• Monitorizar solo entradas y no calcular nunca el rendimiento sobre etiquetas retrasadas.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.