Reducir ruido, alertas y fatiga de guardia: ajustar Davis y los perfiles de alerta

Reducir ruido, alertas inútiles y fatiga de guardia: mide, ajusta la anomaly detection de Davis y filtra con perfiles de alerta, en SaaS y en Managed.
Réduire bruit, alertes et fatigue d'astreinte : régler Davis et les profils d'alerte

Treinta notificaciones por noche, dos de ellas útiles: la guardia (on-call) acaba ignorando el canal y, el día que llega un incidente real, nadie reacciona. Reducir ruido, alertas duplicadas y falsos positivos no se consigue apagando notificaciones al azar. Hay que actuar en tres niveles: la detección de anomalías, el enrutamiento por perfil de alerta y las ventanas de mantenimiento.

Objetivo: al terminar este tutorial sabrás medir el ruido actual, ajustar la detección de anomalías de un servicio, crear un perfil de alerta que solo avisa ante un impacto real y comprobar el resultado. El contenido vale para Dynatrace Managed y Dynatrace SaaS; se señalan las diferencias (Workflows, DQL).

Si el funcionamiento de Davis todavía no te queda claro, repasa el módulo de Davis y alertas antes de empezar.

El problema: reducir ruido, alertas inútiles y fatiga sin perder los incidentes reales

El ruido tiene un coste SRE medible: fatiga de guardia, un MTTR más largo porque la señal se pierde, y toil de triaje manual. El error clásico consiste en subir todos los umbrales. Así se pierde la detección temprana. El enfoque sano: mantener una detección amplia y filtrar lo que despierta a alguien.

Requisitos previos

  • Un entorno Dynatrace (SaaS o Managed) con servicios monitorizados por OneAgent.
  • Permiso para modificar los ajustes del entorno.
  • Un token de API con los scopes de lectura y escritura de ajustes (settings.read, settings.write) y de lectura de problemas (problems.read).
  • Una integración de notificación existente (PagerDuty, Opsgenie, correo electrónico, webhook…).

Paso 1: medir el ruido actual

Solo se reduce lo que se mide. Obtén los problemas de los últimos 7 días:

curl -s -G "$DT_ENV/api/v2/problems" \
  -H "Authorization: Api-Token $DT_TOKEN" \
  --data-urlencode 'from=now-7d' \
  --data-urlencode 'pageSize=500' \
  | jq -r '.problems[] | [.severityLevel, .impactLevel, .title] | @tsv' \
  | sort | uniq -c | sort -rn | head -20

En SaaS, el mismo análisis se hace con DQL en un Notebook:

fetch dt.davis.problems, from: now()-7d
| summarize problems = count(), by: { event.category, event.name }
| sort problems desc
| limit 20

Los nombres de los campos de los problemas de Davis pueden variar según la versión: muestra un registro en bruto con fetch dt.davis.problems | limit 1 para confirmarlos. Localiza los títulos que se repiten a menudo y sin ninguna acción detrás: son tus objetivos.

Paso 2: ajustar la detección de anomalías de un servicio

Para un servicio ruidoso (batch, API interna tolerante a errores), ajusta su detección en lugar de desactivarla. En los ajustes del servicio, sección Anomaly detection, puedes, entre otras cosas:

  • pasar la detección de la tasa de fallos a un umbral fijo adaptado al servicio, en lugar del modo automático;
  • subir el número mínimo de peticiones por minuto que se tiene en cuenta, para ignorar los servicios casi inactivos;
  • ajustar la sensibilidad de la detección del tiempo de respuesta.

Los mismos ajustes existen en la API Settings v2. Obtén primero el esquema para conocer los campos exactos de tu versión:

curl -s "$DT_ENV/api/v2/settings/schemas/builtin:anomaly-detection.services" \
  -H "Authorization: Api-Token $DT_TOKEN" | jq '.properties | keys'

curl -s -G "$DT_ENV/api/v2/settings/objects" \
  -H "Authorization: Api-Token $DT_TOKEN" \
  --data-urlencode 'schemaIds=builtin:anomaly-detection.services' \
  --data-urlencode 'scopes=SERVICE-0123456789ABCDEF' | jq '.items[0].value'

Parte del valor devuelto, modifica solo los campos deseados y reenvía el objeto con POST /api/v2/settings/objects, indicando el scope del servicio. No copies un cuerpo encontrado en otro sitio: el esquema es la referencia. La documentación de referencia está en docs.dynatrace.com.

Paso 3: un perfil de alerta que solo avisa ante el impacto

El perfil de alerta decide qué problemas disparan una notificación. Crea un perfil de «guardia» distinto del perfil de «información»:

  1. Filtra por una management zone o por una etiqueta de equipo, para que cada equipo reciba solo sus servicios.
  2. Para las severidades Availability y Error, mantén un retraso corto (de 0 a 5 minutos).
  3. Para Slowdown y Resource, añade un retraso (por ejemplo, de 15 a 30 minutos): los problemas que se resuelven solos antes de ese plazo no notifican.
  4. Excluye las severidades Custom (alertas personalizadas) y Monitoring unavailable del perfil de guardia si no exigen una acción inmediata; envíalas a un canal que no bloquee.

El esquema correspondiente en la API Settings es builtin:alerting.profile. Consúltalo como en el paso 2 antes de automatizar. La configuración detallada de los perfiles y las integraciones se describe en alertas, perfiles e integraciones. Por último, asocia la integración de aviso únicamente a este perfil.

Paso 4: ventanas de mantenimiento y despliegues

Una parte del ruido procede de las operaciones planificadas. Declara una ventana de mantenimiento para los reinicios y migraciones conocidos, con la opción que suprime las alertas pero conserva la detección. Así, Davis conserva el historial y luego puedes analizar la ventana. Para los despliegues, envía un evento de despliegue desde tu pipeline: Davis lo tiene en cuenta en su análisis de causa.

Paso 5: alertar sobre los SLO en lugar de sobre los síntomas

La palanca más potente sigue siendo avisar por el error budget en lugar de por cada anomalía. Una alerta de burn rate solo se dispara si la fiabilidad percibida está amenazada. Puesta en marcha: alertas de burn rate de SLO. En SaaS, un Workflow también puede filtrar y enriquecer los problemas antes de notificar; en Managed, el perfil de alerta sigue siendo la herramienta principal.

Cómo comprobar que funciona

  1. Vuelve a ejecutar la consulta del paso 1 una semana después y compara el número de problemas notificados.
  2. Comprueba que los problemas Availability siguen notificando: provoca una prueba en un servicio de preproducción (parada de un proceso) y verifica la notificación.
  3. En la página de un problema, la lista de notificaciones enviadas indica qué perfil se aplicó.
  4. Sigue dos indicadores: número de avisos por semana y proporción de avisos que dieron lugar a una acción. Apunta a una proporción de acción alta.

Buenas prácticas

  • Todo aviso debe ser accionable; si no, va a un canal de información.
  • Cambia un ajuste a la vez y anótalo, para saber cuál redujo el ruido.
  • Revisa las alertas ignoradas en cada retrospectiva blameless (sin culpa).
  • Versiona los perfiles y los ajustes de detección (API Settings o Terraform).
  • No desactives nunca la detección de indisponibilidad para bajar el volumen.

Preguntas frecuentes

¿Hay que desactivar la detección automática para reducir el ruido?

Rara vez. Es mejor ajustarla por servicio y filtrar en el perfil de alerta. Desactivarla elimina también el contexto útil para el análisis de causa.

¿El retraso de notificación retrasa los incidentes reales?

Para las severidades afectadas, sí, durante el tiempo elegido. Por eso se reserva a las ralentizaciones y a los recursos, no a las indisponibilidades.

¿Son idénticos estos ajustes en SaaS y en Managed?

Los perfiles de alerta, la detección de anomalías y las ventanas de mantenimiento existen en ambos lados. Los Workflows y DQL son propios de SaaS.

Conclusión

Una guardia tranquila no es una guardia ciega. Mide, ajusta la detección servicio por servicio, filtra con perfiles y pasa progresivamente a alertas sobre el error budget. El resultado: menos avisos, y cada uno cuenta.

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de Dynatrace LLC. Los nombres de pantallas y campos pueden variar según la versión. Comprueba siempre los valores (puertos, versiones, tamaños) en la documentación oficial correspondiente a tu versión.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
SLO Dynatrace Grafana : le comparatif avec Prometheus mis en pratique

Comparativa SLO Dynatrace Grafana: el contraste con Prometheus puesto en práctica

Next Post
Token API Dynatrace : dépanner les scopes et les erreurs 401 et 403 (OTLP, API v2)

Token de API de Dynatrace: solucionar problemas de scopes y errores 401 y 403 (OTLP, API v2)

Related Posts