¿Qué es el compromiso entre sesgo y varianza?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

El error de predicción esperado se descompone en sesgo, la brecha sistemática entre lo que el modelo puede representar y la relación real, varianza, la sensibilidad del modelo ajustado a la muestra concreta de entrenamiento, y ruido irreducible. Un modelo con poca capacidad tiene sesgo alto y pierde señal tanto en entrenamiento como en validación; un modelo con demasiada capacidad respecto a los datos memoriza ruido, así que el error de entrenamiento es bajo y el de validación alto. La palanca es el equilibrio entre capacidad y datos: más o mejores datos, regularización, ensamblado y elección de features, todo juzgado con datos reservados y no con el ajuste de entrenamiento.

Ejemplo

Un modelo lineal que predice precios de vivienda por metros cuadrados subajusta, con un error similar del 20 por ciento en entrenamiento y validación. Un modelo de gradient boosting con mil árboles profundos alcanza 2 por ciento en entrenamiento y 25 por ciento en validación, la firma de la varianza. Limitar la profundidad, añadir regularización L2 y parar pronto con un pliegue de validación bajó el error de validación al 11 por ciento, y la curva de aprendizaje mostró que más datos aún ayudarían.

Errores frecuentes

• Leer un error de entrenamiento bajo como señal de un buen modelo.
• Añadir capacidad para corregir el subajuste sin comprobar que los datos la soportan.
• Ajustar hiperparámetros en el mismo pliegue usado para reportar la puntuación final.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.