¿Cómo respondes cuando falla un experimento de producto?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

Un experimento fallido es información, y lo primero es asegurarse de que es información precisa. Comprueba que la variante llegó realmente a los usuarios previstos, que los eventos se registraron en ambos brazos y que la muestra y la duración coincidieron con el plan. Luego cuantifica: el efecto con su intervalo, no solo el signo, y si el resultado descarta el efecto hipotetizado o simplemente no lo confirmó. Compara por escrito con la hipótesis original, mira los segmentos preregistrados sin pescar un ganador y decide explícitamente parar, iterar sobre un aprendizaje concreto o repetir con un diseño corregido. El informe se comparte para que la organización no repita la misma apuesta.

Ejemplo

Una página de precios rediseñada debía subir los inicios de prueba un 5 por ciento y mostró menos 1 por ciento con un intervalo de menos 4 a más 2. Se verificó la instrumentación, la muestra fue la planificada y el segmento preregistrado de visitantes de anuncios pagados mostró el mismo resultado nulo. El equipo concluyó que la disposición no era la barrera, y entrevistas posteriores apuntaron a diferencias de plan poco claras, que se convirtieron en el siguiente experimento. El resultado se publicó en el registro de experimentos con el razonamiento.

Errores frecuentes

• Rebuscar entre segmentos hasta que uno muestra un resultado positivo.
• Declarar muerta la idea sin comprobar si la prueba fue realmente válida.
• Ocultar el fracaso, de modo que el mismo experimento se propone otra vez el trimestre siguiente.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.