Falsos positivos Dynatrace Managed: reducir el ruido de los Problems, palanca por palanca

Falsos positivos Dynatrace Managed: ajusta Anomaly detection, Maintenance windows, metric events y Alerting profiles, y mide el ruido antes y después.
Faux positifs Dynatrace Managed : réduire le bruit des Problems, levier par levier

Un lunes por la mañana, la cola de Problems muestra cuarenta entradas abiertas durante el fin de semana. Tres correspondían a un incidente real; el resto venía de un batch nocturno, de un servicio de pruebas con dos peticiones por minuto y de un reinicio planificado. Estos falsos positivos Dynatrace Managed no son bugs de Davis: son ajustes por defecto aplicados a un contexto que no conocen.

Esta guía detalla, palanca por palanca, dónde se ajusta cada fuente de ruido en la interfaz, cuándo usar cada ajuste y cómo industrializarlo con la Settings API. Termina con un método para medir el número de problemas antes y después de los cambios, con el fin de demostrar la mejora al equipo de guardia (on-call).

El contenido se dirige a Dynatrace Managed (interfaz clásica, Settings API v2, Problems API v2). Los esquemas de settings citados también existen en SaaS, pero la detección de anomalías sobre Grail (Davis anomaly detectors, DQL) no se trata aquí. Para el enfoque orientado a la fatiga de guardia y a los perfiles de notificación, consulta el artículo reducir ruido, alertas y fatiga de guardia: este se centra en el origen de los propios problemas.

Por qué Davis abre problemas inútiles

Davis compara cada señal con una referencia. Cuando la referencia es mala o falta el contexto, abre un problema legítimo desde el punto de vista estadístico, pero inútil para el equipo. Las causas más frecuentes:

  • Poco tráfico: en un servicio con unas pocas peticiones por minuto, una sola petición lenta desplaza la mediana. La propia documentación lo dice: establecer baselines y alertar sobre aplicaciones de poco tráfico suele producir alertas inútiles.
  • Baseline obsoleta: el periodo de referencia por defecto es de 7 días. Tras una release que cambia el perfil de rendimiento, Davis compara la nueva versión con la antigua.
  • Eventos previstos: mantenimiento, pruebas de carga, paradas planificadas. Sin una Maintenance window, parecen incidentes y contaminan la baseline.
  • Umbrales mal elegidos: un umbral fijo sobre una métrica volátil, o un umbral autoadaptativo sobre una métrica que debe permanecer por debajo de un límite absoluto.
  • Metric events demasiado nerviosos: una ventana deslizante demasiado corta o la alerta por datos ausentes activada en una serie dispersa.

Distingue dos familias de palancas: las que impiden la detección de un problema (Anomaly detection, Maintenance windows, Frequent issue detection, metric events) y las que solo impiden la notificación (Alerting profiles, Problem notifications). Las primeras reducen los falsos positivos; las segundas reducen el ruido percibido.

Paso 1: medir el ruido antes de tocar los ajustes

Sin una medición inicial es imposible saber si un ajuste ha ayudado. Obtén los problemas de los últimos 30 días con la Problems API v2 (endpoint GET /api/v2/problems, token con el scope problems.read) y cuéntalos por título:

# Problèmes fermés des 30 derniers jours, regroupés par titre
curl -s -H "Authorization: Api-Token $DT_TOKEN" \
  "https://<votre-domaine>/e/<environment-id>/api/v2/problems?from=now-30d&pageSize=500&problemSelector=status(%22closed%22)" \
  | jq -r '.problems[] | [.severityLevel, .title] | @tsv' \
  | sort | uniq -c | sort -rn | head -20

El campo severityLevel toma, entre otros, los valores AVAILABILITY, ERROR, CUSTOM_ALERT y MONITORING_UNAVAILABLE; startTime y endTime están en milisegundos UTC, lo que permite calcular la duración de cada problema. Por encima de 500 resultados, sigue el nextPageKey. Anota tres indicadores: número de problemas por semana, proporción de problemas de menos de 10 minutos (a menudo oscilaciones) y top 5 de títulos recurrentes. Ese top 5 dicta el orden de los ajustes.

Paso 2: ajustar la Anomaly detection por servicio, aplicación y host

Servicios: autoadaptativo o umbral fijo

Ruta global: Settings > Anomaly detection > Services. Dynatrace detecta ahí cuatro tipos de anomalías independientes: degradación del tiempo de respuesta, aumento de la tasa de fallos, caída y pico de carga. Para el tiempo de respuesta y la tasa de fallos, elige entre automatically (baseline) y using fixed thresholds.

  • Automático: la alerta se dispara si la mediana de todas las peticiones (o del 10 % más lento) supera a la vez el umbral absoluto (ms) y el umbral relativo (%). Sube el umbral absoluto para ignorar derivas de unos milisegundos en servicios rápidos.
  • Fijo: preferible para una petición sujeta a un SLA o a un timeout conocido. El campo Sensitivity (Low, Medium, High) regula la confianza estadística: Low ignora las violaciones breves debidas a un pico de carga y High alerta en cada violación.

Dos opciones adicionales eliminan buena parte del ruido de poco tráfico: el umbral de acciones por minuto por debajo del cual no se evalúa un servicio y la duración mínima de estado anómalo antes de alertar. En el esquema builtin:anomaly-detection.services, corresponden al objeto overAlertingProtection (requestsPerMinute, minutesAbnormalState).

Extracto del esquema builtin:anomaly-detection.services de la documentación de Dynatrace Managed: detectionMode auto o fixed, overAlertingProtection y sensitivity

Para un solo servicio, abre Services, selecciona el servicio y después menú … > Settings > Anomaly detection y desactiva Use global anomaly detection settings. El ajuste del servicio sustituye al global solo para ese servicio.

Peticiones: desactivar la alerta en una petición no crítica

Una petición de salud o una exportación nocturna puede degradar la mediana de un servicio sin interés de negocio. Márcala como key request y, en la sección Set thresholds on key requests, desactiva Use service or global settings: así puedes bajar, subir o desactivar la alerta solo para esa petición. El esquema acepta el scope SERVICE_METHOD.

Aplicaciones e infraestructura

En las aplicaciones se aplica la misma lógica con un número mínimo de acciones por minuto (10 en el ejemplo de la documentación) para excluir las aplicaciones de poco tráfico. En los hosts (Settings > Anomaly detection, sección Infrastructure), dos ajustes evitan falsos positivos clásicos: dejar desactivadas las alertas por apagado limpio (por defecto solo alertan los cortes inesperados) y crear Custom disk-detection rules para no alertar sobre el espacio de un disco de arranque de tamaño fijo. Prevalece la regla más específica (host, host group, entorno).

Reiniciar una baseline tras una release

Tras un cambio importante, el botón Reset del periodo de referencia purga los 7 días anteriores y reinicia el aprendizaje. Ten presente que una anomaly detection automática solo está disponible para los servicios y aplicaciones que han funcionado al menos el 20 % de una semana.

Paso 3: Maintenance windows y Frequent issue detection

Ruta: Settings > Maintenance windows > Monitoring, alerting, and availability y después Create maintenance window. La elección decisiva es Problem detection and alerting:

  • Detect problems and alert: no cambia nada, un icono marca el problema;
  • Detect problems but don’t alert: el problema sigue visible en Problems, sin notificación. La buena elección para una puesta en producción vigilada;
  • Disable problem detection: ningún problema ni alerta. Resérvala para las paradas completas.

Los periodos cubiertos se excluyen del cálculo de las baselines, sean planificados o no: define una ventana antes de cualquier prueba de carga y una ventana Unplanned a posteriori para una avería ya pasada. Restringe siempre el scope mediante filtros (tipo de entidad, tags, management zones): sin filtro, la ventana cubre todo el entorno. El límite es de 2000 ventanas por entorno. En la API, el campo suppression toma los valores DETECT_PROBLEMS_AND_ALERT, DETECT_PROBLEMS_DONT_ALERT y DONT_DETECT_PROBLEMS.

La Frequent issue detection (esquema builtin:anomaly-detection.frequent-issues) convierte en frequent issue un problema detectado varias veces al día durante una semana y que no empeora; la alerta se corta entonces y se reactiva si la situación empeora. Déjala activa: desactivarla (por nivel: aplicaciones, servicios, infraestructura, entorno) hace que cada aparición vuelva como una alerta nueva. Pero no la tomes por una solución: un frequent issue es un defecto crónico que corregir o un umbral que revisar.

Paso 4: ajustar los metric events para evitar los falsos positivos Dynatrace Managed

Ruta: Settings > Anomaly detection > Metric events. Cada configuración combina una fuente (metric key o metric selector), una estrategia (static threshold, auto-adaptive threshold, seasonal baseline; las dos últimas solo con metric selector) y una ventana deslizante, que se ajusta en Advanced properties:

  • violatingSamples: número de muestras de un minuto que deben violar el umbral (3 por defecto);
  • samples: tamaño de la ventana (5 por defecto, hasta 60 minutos);
  • dealertingSamples: muestras que vuelven a la normalidad para cerrar el evento (5 por defecto).
Extracto del esquema builtin:anomaly-detection.metric-events de la documentación de Dynatrace Managed: violatingSamples, samples, dealertingSamples, alertOnNoData y davisMerge

Para una métrica ruidosa, pasa por ejemplo a 10 violaciones sobre 15 muestras: un pico aislado ya no dispara nada. Aumenta dealertingSamples si un problema se abre y se cierra en bucle. Desactiva alertOnNoData en las series dispersas (la documentación advierte de que provoca tormentas de alertas) y, para las métricas que llegan con 5 minutos de retraso, usa queryOffset o una ventana de al menos 10 minutos. En autoadaptativo, aumenta signalFluctuation; en seasonal baseline, aumenta tolerance. Deja davisMerge activado para que Davis asocie el evento a un problema existente en lugar de abrir uno nuevo. Usa la vista previa (preview) antes de guardar: muestra cuántos eventos habría generado la configuración. Para la sintaxis de los selectores, consulta el módulo de metric selector y alertas.

Elige un umbral estático para un límite absoluto (memoria de un proceso conocido: un umbral adaptativo seguiría una fuga lenta sin alertar nunca) y un umbral autoadaptativo para una métrica volátil cuyo nivel cambia, como el tiempo de escritura en disco. Atención: las configuraciones autoadaptativas están limitadas a 100 por entorno.

Paso 5: Alerting profiles y Problem notifications

Estas palancas no suprimen ningún problema: deciden a quién se avisa. Ruta: Settings > Alerting > Problem alerting profiles y después Add alerting profile. El scope combina con Y una management zone, severity rules (combinadas con O, 100 como máximo) y event filters.

  • Retraso: delayInMinutes solo envía la notificación si el problema sigue abierto más de X minutos. Un retraso de 10 a 15 minutos en PERFORMANCE elimina las oscilaciones cortas medidas en el paso 1, manteniendo AVAILABILITY en 0.
  • Tags: tagFilterIncludeMode (NONE, INCLUDE_ANY, INCLUDE_ALL). La coincidencia es exacta: una clave sola solo coincide con un tag sin valor. La documentación recomienda tags manuales en lugar de automáticos.
  • Management zone: reduce cada perfil al perímetro del equipo (consulta management zones y tagging).

Las Problem notifications (Slack, PagerDuty, Opsgenie…) se apoyan después en un perfil. Una integración conectada al perfil Default lo recibe todo: es lo primero que hay que comprobar. El detalle de las integraciones está en alerting profiles e integraciones.

Paso 6: industrializar con la Settings API

Cada ajuste anterior es un objeto de la Settings API v2. Exporta el estado actual antes de cualquier modificación (token con settings.read):

curl -s -H "Authorization: Api-Token $DT_TOKEN" \
  "https://<votre-domaine>/e/<environment-id>/api/v2/settings/objects?schemaIds=builtin:anomaly-detection.services&scopes=environment" \
  | jq '.items[].value' > services-avant.json

Esquemas útiles: builtin:anomaly-detection.services, builtin:anomaly-detection.metric-events, builtin:anomaly-detection.frequent-issues, builtin:alerting.maintenance-window y builtin:alerting.profile. Las escrituras pasan por POST /api/v2/settings/objects (scope settings.write); el parámetro validateOnly=true valida sin guardar, práctico en CI. Para versionar el conjunto, Monaco gestiona esos mismos esquemas como archivos.

Escenarios concretos

  • Servicio interno de 3 req/min que alerta cada noche: requestsPerMinute en 10 a nivel de servicio, minutesAbnormalState en 5.
  • Despliegue semanal de los martes: Maintenance window Weekly, scope por tag de la aplicación, modo Detect problems but don’t alert.
  • Metric event de CPU que se abre y se cierra cada 10 minutos: 5 violaciones sobre 10, dealertingSamples en 10.
  • Entorno de pruebas en el mismo clúster: sensibilidad Low en su management zone, perfil de alerta con retraso de 30 minutos.

Cómo comprobar que funciona

Pasadas dos semanas, vuelve a lanzar la consulta del paso 1 sobre la misma duración y compara los tres indicadores. En Problems, el filtro Under maintenance lista los problemas ocurridos durante una ventana. Para un metric event, la vista general señala en 24 horas las configuraciones en THROTTLED, QUERY_FAILED o CONFIG_BLOCKED. Comprueba por último que los incidentes reales conocidos del periodo se siguen detectando: una bajada del ruido lograda ocultando un incidente real es una regresión, no una mejora.

Buenas prácticas

  • Un ajuste cada vez, medido y documentado en el post-mortem o en el changelog.
  • Ajustar al nivel más fino (servicio, petición, host group) antes de tocar lo global.
  • No desactivar nunca una detección de AVAILABILITY para hacer bajar un contador.
  • Exportar los settings antes de cada modificación para poder volver atrás.

Preguntas frecuentes

¿Hay que pasar todos los servicios a umbrales fijos?

No. Los umbrales fijos convienen a las peticiones con SLA o timeout conocidos. Para el resto, la baseline automática con un umbral absoluto elevado y una protección de poco tráfico da menos falsos positivos que unos umbrales fijos mal mantenidos.

¿Un retraso en el alerting profile reduce los problemas?

No, solo reduce las notificaciones. El problema permanece en Problems y en las estadísticas. Para suprimir la detección, ajusta la Anomaly detection, los metric events o una Maintenance window.

¿Valen estos ajustes para Dynatrace SaaS?

Los esquemas de settings citados también existen en SaaS. En cambio, en un entorno SaaS reciente con Grail, los nuevos detectores de anomalías se basan en DQL: la lógica de ventana deslizante es parecida, pero la configuración difiere.

Conclusión

Reducir los falsos positivos es devolver a Davis el contexto que le falta: tráfico mínimo, periodos previstos, umbrales adaptados a cada métrica y ventanas de violación realistas. Mide, ajusta una palanca, vuelve a medir. Una guardia que confía en los Problems reacciona más rápido, y quien se beneficia es el MTTR.

Para ir más lejos: Anomaly detection configuration y Adjust the sensitivity of anomaly detection for services (documentación de Dynatrace Managed).

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace y Davis son marcas de Dynatrace LLC. La información procede de la documentación pública; comprueba siempre los valores en la documentación oficial correspondiente a tu versión antes de cualquier modificación en producción.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Traces distribuées Dynatrace Managed : PurePath, filtres et analyse

Trazas distribuidas Dynatrace Managed: PurePath, filtros y análisis

Next Post
Dashboard multi-environnement Dynatrace : tiles cross-environment dans Managed

Dashboard multientorno Dynatrace: tiles cross-environment en Managed

Related Posts