¿Cómo pruebas un sistema ML?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Un sistema de ML se prueba en cada capa donde puede fallar en silencio. Las pruebas de datos comprueban esquemas, rangos y frescura. Las de features afirman que las transformaciones son deterministas y correctas en el tiempo sobre datos de fixture. Las de entrenamiento ejecutan un ajuste diminuto de extremo a extremo y comprueban que el pipeline produce las mismas métricas con las mismas entradas y semillas. Las del modelo afirman invariantes como comportamiento monótono donde el dominio lo exige, un rendimiento mínimo en un conjunto dorado y umbrales por segmento. Las de serving verifican el contrato de solicitud y respuesta, la latencia bajo carga y la activación del respaldo. Por último, un canario en producción compara resultados con la versión anterior en tráfico real.

Ejemplo

El repositorio del modelo de precios ejecuta: una prueba de esquema sobre un lote de fixture, una prueba de que el mismo fixture a través del código de features da salida idéntica entre commits, una prueba de humo de entrenamiento con 1.000 filas y semilla fija, una prueba de invariante de que una señal de demanda mayor nunca baja el precio recomendado, un umbral de 0,9 sobre un conjunto dorado almacenado y una prueba de contrato contra el contenedor de serving. Un canario al 5 por ciento no debe mostrar caída de conversión durante 48 horas.

Errores frecuentes

• Probar solo el código y nunca los datos ni el comportamiento del modelo.
• Comparar métricas contra una línea base móvil, de modo que las regresiones se esconden en el ruido.
• Saltarse las pruebas de contrato de serving y descubrir un campo renombrado en producción.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.