¿Cómo validas datos de entrenamiento ML?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Los datos de entrenamiento se validan contra una línea base aprobada antes de ejecutar cualquier entrenamiento, porque un modelo entrenado con datos rotos pasa todas las pruebas de código. Las comprobaciones cubren esquema y tipos, rangos de valores y categorías permitidas, ausencia por columna, unicidad de la clave de entidad, disponibilidad y balance de etiquetas, corrección temporal para que ninguna feature se calcule después de la marca de su etiqueta, heurísticas de fuga como features que predicen perfectamente el objetivo, cambio de distribución frente al conjunto anterior y cobertura de grupos protegidos o importantes. Las violaciones bloquean el entrenamiento con una severidad por comprobación, y el informe de validación se adjunta a la ejecución.

Ejemplo

El entrenamiento nocturno de un modelo de churn ejecuta un paso de validación con estadísticas al estilo TFDV: detectó una semana en que la columna de antigüedad estaba en días en lugar de meses tras una migración de la fuente, una tasa de etiquetas que cayó del 4 por ciento al 0,3 por ciento cuando una tabla dejó de actualizarse, y una feature nueva con correlación de 0,99 con la etiqueta que resultó calcularse después del abandono. Cada caso se bloqueó antes de entrenar un modelo con él.

Errores frecuentes

• Validar las entradas de serving pero nunca el conjunto de entrenamiento.
• Entrenar con una columna de etiqueta parcialmente sin rellenar.
• No comparar contra ninguna línea base, de modo que una deriva lenta en los datos de entrenamiento pasa desapercibida.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.