¿Cómo evalúas fiabilidad de una entrega?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

La fiabilidad de las releases se mide, no se siente. La tasa de fallo de cambios cuenta releases que causaron un rollback, un hotfix o un incidente; la tasa de rollback y el tiempo hasta revertir muestran cuán seguro es el proceso; las diferencias del canario en tasa de errores y latencia entre versiones muestran el efecto de cada release antes del despliegue completo; el consumo de SLO atribuido a ventanas de release muestra lo que vivieron los clientes; y los tiempos de detección y recuperación muestran cuán rápido se cierra el ciclo. Todo ello necesita marcadores de release en la telemetría y etiquetas de versión en las métricas para comparar tráfico equivalente entre versiones y no antes y después en el tiempo.

Ejemplo

Un equipo publica una tarjeta mensual de releases: 62 releases, tasa de fallo de cambios del 6 por ciento, diferencia mediana de errores en canario del 0,02 por ciento, un rollback de 4 minutos y un 18 por ciento del presupuesto de error consumido en la hora posterior a las releases. La tarjeta mostró que las releases de viernes por la tarde concentraban la mayoría de los fallos, lo que llevó a cambiar la ventana de despliegue en lugar de congelar.

Errores frecuentes

• Juzgar las releases por si alguien se quejó.
• Comparar métricas antes y después de un despliegue sin controlar los cambios de tráfico.
• Medir solo la frecuencia de despliegue y llamarlo fiabilidad.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.