¿Cómo conectas métricas de modelo con valor de negocio?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Un modelo crea valor solo a través de una decisión, así que el puente entre las métricas del modelo y el valor de negocio pasa por esa decisión: qué acción se toma por encima de qué umbral, cuántos casos produce al día, cuánto vale una acción correcta, cuánto cuestan un falso positivo y un falso negativo, y qué fracción de casos cubre el modelo. Con eso se calcula un valor esperado por predicción a la prevalencia real para cada umbral, y el umbral que maximiza valor rara vez es el que maximiza F1. Métricas de protección como quejas de clientes o carga de los revisores acotan la optimización.

Ejemplo

Un modelo de churn con 0,80 de AUC se tradujo en una campaña de retención: contactar al 5 por ciento superior de cuentas cada mes a 12 dólares por contacto, con una tasa de retención del 15 por ciento sobre verdaderos abandonos de 300 dólares cada uno, proyectaba 90.000 dólares al mes sobre el contacto aleatorio actual, y ese número, no el AUC, fue a la revisión de negocio. Un umbral más alto redujo los contactos a la mitad y perdió solo el 10 por ciento del valor.

Errores frecuentes

• Presentar AUC o F1 a directivos sin traducción a dinero o resultados.
• Evaluar el valor a la prevalencia de entrenamiento en lugar de la real.
• Elegir el umbral que optimiza una métrica estadística y no el valor esperado.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.