¿Cómo eliges entre modelos candidatos?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

La mejor puntuación de validación cruzada es un punto de partida, no una decisión. Los candidatos se comparan con la métrica ligada a la decisión de negocio, con intervalos de confianza para reconocer que una diferencia del 0,3 por ciento es ruido. Más allá, la elección pondera la calibración cuando las probabilidades guían acciones, la robustez por segmento y en el tiempo, la latencia y el coste al volumen de serving, los requisitos de explicabilidad de reguladores o usuarios, y cuánto mantenimiento exige el pipeline de features. Un modelo más simple dentro del intervalo del mejor suele ganar porque es más barato de ejecutar, explicar y monitorizar.

Ejemplo

Tres candidatos para un modelo de límite de crédito tenían AUC de 0,842, 0,845 y 0,847 con intervalos solapados; el de gradient boosting era el mejor pero requería 40 features de una fuente en tiempo real, mientras el logístico usaba 12 features batch y producía códigos de motivo que necesitaba cumplimiento. Salió el logístico, con un plan de revisión si el análisis por segmento mostraba deterioro.

Errores frecuentes

• Elegir al ganador del ranking por un margen menor que el ruido.
• Ignorar el coste de serving hasta que el modelo no cumple el presupuesto de latencia.
• Seleccionar un modelo caja negra para una decisión que legalmente exige explicación.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.