Científico de Datos: pregunta de entrevista
¿Cómo diseñas un experimento de data science?
Define pregunta causal, población, tratamiento, control, métrica principal, guardrails, efecto, potencia, unidad de aleatorización, duración y análisis antes de ver resultados; controla asignación e interferencias.
Respuesta directa
Qué debe cubrir una buena respuesta
Cómo funciona
Un experimento se diseña antes de ver cualquier dato. Declara la pregunta causal y la población, qué experimentan tratamiento y control, la unidad de aleatorización, que debe coincidir con la unidad de análisis para evitar interferencia, la métrica principal y las de protección, el efecto mínimo que merece detectarse, el tamaño de muestra y la duración que dan potencia adecuada, y el plan de análisis incluido cómo se examinarán los segmentos. La asignación se registra y se comprueba su equilibrio, y los riesgos como usuarios en ambos brazos, efectos de red o novedad se nombran con un plan para cada uno.
Ejemplo
Una prueba de un nuevo algoritmo de recomendación aleatorizó por usuario, no por sesión, porque un usuario viendo ambas versiones contaminaría la comparación; la métrica principal fue la tasa de compra a 14 días, las de protección la tasa de devoluciones y la latencia de página, y el análisis de potencia para una mejora relativa del 2 por ciento exigió 400.000 usuarios por brazo durante tres semanas. Una comprobación de desajuste de proporción el segundo día atrapó un bug que asignaba el 52 por ciento a control.
Errores frecuentes
- Elegir la métrica principal después de ver cuál se movió.
- Aleatorizar por sesión cuando el mismo usuario puede ver ambos tratamientos.
- Ejecutar hasta que aparezca significancia en lugar de la duración planificada.
Una estructura útil para responder
Responde desde tu propia experiencia.
No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.
Abre el espacio de trabajo de escritorio y ensaya una respuesta clara con tus propias palabras.