¿Cómo validas un modelo de machine learning?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

La validación estima cómo rendirá el modelo con los datos que realmente verá, así que la partición debe reflejar el despliegue: por tiempo cuando el modelo predice el futuro, por entidad cuando el mismo cliente no debe aparecer a ambos lados, y con el preprocesamiento ajustado dentro de cada pliegue para que nada se filtre. La métrica sigue la decisión que el modelo apoya, no el valor por defecto de la biblioteca, y se reporta con intervalo de confianza y frente a una línea base simple para saber que la mejora es real. El rendimiento se inspecciona por segmento porque una media oculta grupos donde el modelo falla. Un conjunto de prueba final se toca una sola vez.

Ejemplo

Un modelo de churn entrenado con datos hasta junio se validó de julio a septiembre con el escalador ajustado solo en la ventana de entrenamiento; un AUC de 0,81 se comparó con una regla base de días desde el último acceso en 0,74, con intervalo bootstrap de 0,79 a 0,83. Por segmento, la precisión en cuentas enterprise era la mitad que en autoservicio, lo que cambió cómo ventas usaba las puntuaciones.

Errores frecuentes

• Usar una partición aleatoria en series temporales y reportar resultados inflados.
• Elegir exactitud con una clase positiva del 3 por ciento y celebrar un 97 por ciento.
• Iterar sobre el conjunto de prueba hasta que el número quede bien.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.