¿Cómo reduces fatiga de alertas?

Respuesta directa

Qué debe cubrir una buena respuesta

Cómo funciona

La fatiga por alertas viene de alertas que no requieren acción, que saltan por causas y no por síntomas, o que se duplican durante un mismo fallo. La cura es una auditoría: para cada alerta, preguntar qué hizo el responder las últimas cinco veces que saltó; borrar las que no llevaron a nada, convertir en tickets las que necesitan atención pero no urgencia, y reescribir el resto para dispararse por síntomas visibles al usuario o tasa de consumo del SLO. Agrupar las alertas que saltan juntas en una notificación, ajustar umbrales y ventanas con datos de incidentes en lugar de valores por defecto, enrutar cada alerta al equipo que puede arreglarla y revisar cada aviso ruidoso en la reunión semanal de operaciones como un defecto a cerrar.

Ejemplo

Una auditoría de 140 reglas de alerta encontró 90 que nunca habían llevado a una acción; se borraron o se convirtieron en paneles. Once alertas de infraestructura que saltaban juntas en cualquier failover de base de datos se sustituyeron por una alerta de tasa de consumo del SLO de la API afectada. Los avisos bajaron de 60 a 9 por semana, y el ingeniero de guardia empezó a tratar cada aviso restante como real.

Errores frecuentes

• Añadir una alerta nueva tras cada incidente y no quitar ninguna.
• Alertar por causas de infraestructura, de modo que un fallo produce diez avisos.
• Silenciar alertas ruidosas indefinidamente en lugar de arreglarlas o borrarlas.

Una estructura útil para responder

Responde desde tu propia experiencia.

No memorices un guion: usa solo ejemplos que puedas explicar con honestidad en preguntas posteriores.