¿Cómo diseñas un test A/B de producto?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

El diseño se fija antes del lanzamiento para que los resultados no puedan reinterpretarse después. Declara la hipótesis como un cambio previsto en una métrica concreta para una población concreta, las reglas de elegibilidad, la unidad de aleatorización como usuario o cuenta, la métrica principal y las de protección que no deben empeorar, el efecto mínimo que merece detectarse, y a partir de ahí el tamaño de muestra, la duración en semanas completas para cubrir ciclos semanales y la regla de parada. La asignación se verifica en equilibrio y proporción, el análisis reporta el efecto con un intervalo y los segmentos se examinan solo según lo planificado para no descubrir un subgrupo ganador por azar.

Ejemplo

Hipótesis: mostrar fechas de entrega en la página de producto sube la tasa de añadir al carrito de usuarios identificados al menos un 3 por ciento relativo. Aleatorizado por usuario, 50/50, métrica principal añadir al carrito, protecciones finalización de checkout y tiempo de carga, análisis de potencia que exige 180.000 usuarios por brazo, dos semanas completas. Una comprobación de proporción de muestra el primer día detectó un bug de caché que mostraba la variante solo a usuarios recurrentes, y la prueba se reinició.

Errores frecuentes

• Detener la prueba el primer día que el resultado parece significativo.
• Elegir la métrica ganadora tras ver cuál se movió.
• Aleatorizar por sesión, de modo que un usuario ve ambas variantes y la comparación se contamina.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.