¿Cómo haces reproducible un experimento ML?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Un experimento es reproducible cuando otra persona, en otra máquina, puede producir el mismo artefacto y las mismas métricas a partir de las entradas registradas. El registro incluye el commit exacto, los datos como instantánea inmutable o consulta versionada con el hash de su resultado, las definiciones de features y sus versiones, cada hiperparámetro, las semillas de cada biblioteca, el digest de la imagen de contenedor con dependencias fijadas y cualquier suposición de hardware como el no determinismo de la GPU. La prueba no es el registro sino una repetición en un entorno limpio comparada hash de artefacto con hash de artefacto y métrica con métrica, con tolerancias declaradas donde los numéricos varían legítimamente.

Ejemplo

El resultado del notebook de un investigador no pudo reproducirlo el equipo de plataforma hasta mover la ejecución a un pipeline rastreado: la consulta de datos se fijó a una versión de tabla, se fijaron semillas para NumPy, PyTorch y el cargador de datos, se registró el digest de la imagen y la repetición coincidió con la métrica hasta cuatro decimales. Una variación restante del 0,1 por ciento se rastreó a kernels de GPU no deterministas y se documentó como tolerancia.

Errores frecuentes

• Entrenar desde una consulta contra una tabla viva que cambia a diario.
• Registrar hiperparámetros pero no la versión de datos ni el entorno.
• Llamar reproducible a un experimento sin haberlo repetido nunca.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.