¿Qué es la fuga de datos en machine learning?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Una fuga es cualquier vía por la que información sobre el objetivo llega al modelo y que no existirá en el momento de predecir. La fuga de target es una feature calculada después o a partir del resultado, como una bandera de reembolso al predecir fraude. La fuga temporal es entrenar con filas posteriores a la fecha de predicción o con agregados que incluyen eventos futuros. La fuga de preprocesamiento es ajustar escaladores, codificadores o imputadores sobre todo el conjunto antes de partir. La fuga de entidad es el mismo usuario en entrenamiento y prueba. El síntoma es un rendimiento de validación demasiado bueno; la cura es construir features a fecha de predicción y ajustar cada transformación dentro del pliegue de entrenamiento.

Ejemplo

Un modelo que predecía impago de préstamos alcanzó 0,98 de AUC porque una feature era el número de llamadas de cobro, que solo ocurren después del impago. Quitarla bajó el AUC a 0,79, que coincidía con producción. Un segundo problema apareció cuando una media por cliente se calculaba sobre toda la historia incluido el mes de la etiqueta; recalcularla a fecha de solicitud corrigió el optimismo restante.

Errores frecuentes

• Tratar una puntuación sospechosamente alta como buena noticia en lugar de advertencia.
• Calcular features agregadas sobre todo el conjunto incluido el futuro.
• Ajustar un imputador sobre todas las filas y luego partir.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.