Faux positifs Dynatrace Managed : réduire le bruit des Problems, levier par levier

Faux positifs Dynatrace Managed : régler Anomaly detection, Maintenance windows, metric events et Alerting profiles, puis mesurer le bruit avant et après.
Faux positifs Dynatrace Managed : réduire le bruit des Problems, levier par levier

Un lundi matin, la file des Problems affiche quarante entrées ouvertes pendant le week-end. Trois concernaient un vrai incident, le reste venait d’un batch de nuit, d’un service de test à deux requêtes par minute et d’un redémarrage planifié. Ces faux positifs Dynatrace Managed ne sont pas des bugs de Davis : ce sont des réglages par défaut appliqués à un contexte qu’ils ne connaissent pas.

Ce guide détaille, levier par levier, où se règle chaque source de bruit dans l’interface, quand utiliser chaque réglage et comment l’industrialiser avec la Settings API. Il se termine par une méthode pour mesurer le nombre de problèmes avant et après les changements, afin de prouver le gain à l’équipe d’astreinte.

Le contenu vise Dynatrace Managed (interface classique, Settings API v2, Problems API v2). Les schémas de settings cités existent aussi en SaaS, mais la détection d’anomalies sur Grail (Davis anomaly detectors, DQL) n’est pas traitée ici. Pour l’approche orientée fatigue d’astreinte et profils de notification, voir l’article réduire bruit, alertes et fatigue d’astreinte : celui-ci se concentre sur la source des problèmes eux-mêmes.

Pourquoi Davis ouvre des problèmes inutiles

Davis compare chaque signal à une référence. Quand la référence est mauvaise ou le contexte absent, il ouvre un problème légitime du point de vue statistique, mais inutile pour l’équipe. Les causes les plus fréquentes :

  • Faible trafic : sur un service à quelques requêtes par minute, une seule requête lente déplace la médiane. La documentation le dit elle-même : baseliner et alerter sur des applications à faible trafic produit souvent des alertes inutiles.
  • Baseline périmée : la période de référence par défaut est de 7 jours. Après une release qui change le profil de performance, Davis compare la nouvelle version à l’ancienne.
  • Événements prévus : maintenance, tests de charge, arrêts planifiés. Sans Maintenance window, ils ressemblent à des incidents et polluent la baseline.
  • Seuils mal choisis : un seuil fixe sur une métrique volatile, ou un seuil auto-adaptatif sur une métrique qui doit rester sous une limite absolue.
  • Metric events trop nerveux : une fenêtre glissante trop courte ou l’alerte sur données manquantes activée sur une série clairsemée.

Distinguez deux familles de leviers : ceux qui empêchent la détection d’un problème (Anomaly detection, Maintenance windows, Frequent issue detection, metric events) et ceux qui empêchent seulement la notification (Alerting profiles, Problem notifications). Les premiers réduisent les faux positifs ; les seconds réduisent le bruit perçu.

Étape 1 : mesurer le bruit avant de toucher aux réglages

Sans mesure initiale, impossible de savoir si un réglage a aidé. Récupérez les problèmes des 30 derniers jours avec la Problems API v2 (endpoint GET /api/v2/problems, jeton avec le scope problems.read) et comptez-les par titre :

# Problèmes fermés des 30 derniers jours, regroupés par titre
curl -s -H "Authorization: Api-Token $DT_TOKEN" \
  "https://<votre-domaine>/e/<environment-id>/api/v2/problems?from=now-30d&pageSize=500&problemSelector=status(%22closed%22)" \
  | jq -r '.problems[] | [.severityLevel, .title] | @tsv' \
  | sort | uniq -c | sort -rn | head -20

Le champ severityLevel prend notamment les valeurs AVAILABILITY, ERROR, CUSTOM_ALERT et MONITORING_UNAVAILABLE ; startTime et endTime sont en millisecondes UTC, ce qui permet de calculer la durée de chaque problème. Au-delà de 500 résultats, suivez le nextPageKey. Notez trois indicateurs : nombre de problèmes par semaine, part des problèmes de moins de 10 minutes (souvent des oscillations), et top 5 des titres récurrents. Ce top 5 dicte l’ordre des réglages.

Étape 2 : régler l’Anomaly detection par service, application et host

Services : auto-adaptatif ou seuil fixe

Chemin global : Settings > Anomaly detection > Services. Dynatrace y détecte quatre types d’anomalies indépendants : dégradation du temps de réponse, hausse du taux d’échec, chute et pic de charge. Pour le temps de réponse et le taux d’échec, choisissez entre automatically (baseline) et using fixed thresholds.

  • Automatique : l’alerte part si la médiane de toutes les requêtes (ou des 10 % les plus lentes) dépasse à la fois le seuil absolu (ms) et le seuil relatif (%). Relevez le seuil absolu pour ignorer les dérives de quelques millisecondes sur des services rapides.
  • Fixe : à préférer pour une requête soumise à un SLA ou à un timeout connu. Le champ Sensitivity (Low, Medium, High) règle la confiance statistique : Low ignore les violations brèves dues à un pic de charge, High alerte à chaque violation.

Deux options optionnelles suppriment l’essentiel du bruit de faible trafic : le seuil d’actions par minute sous lequel un service n’est pas évalué, et la durée minimale d’état anormal avant alerte. Dans le schéma builtin:anomaly-detection.services, elles correspondent à l’objet overAlertingProtection (requestsPerMinute, minutesAbnormalState).

Extrait du schéma builtin:anomaly-detection.services de la documentation Dynatrace Managed : detectionMode auto ou fixed, overAlertingProtection et sensitivity

Pour un seul service, ouvrez Services, sélectionnez le service, puis menu … > Settings > Anomaly detection et désactivez Use global anomaly detection settings. Le réglage du service remplace le global pour ce seul service.

Requêtes : désactiver l’alerte sur une requête non critique

Une requête de santé ou un export nocturne peut dégrader la médiane d’un service sans intérêt métier. Marquez-la comme key request, puis dans la section Set thresholds on key requests désactivez Use service or global settings : vous pouvez alors baisser, relever ou désactiver l’alerte pour cette seule requête. Le schéma accepte le scope SERVICE_METHOD.

Applications et infrastructure

Côté applications, la même logique s’applique avec un nombre minimal d’actions par minute (10 dans l’exemple de la documentation) pour exclure les applications à faible trafic. Côté hosts (Settings > Anomaly detection, section Infrastructure), deux réglages évitent des faux positifs classiques : laisser désactivées les alertes sur arrêt propre (par défaut seules les coupures inattendues alertent) et créer des Custom disk-detection rules pour ne pas alerter sur l’espace d’un disque de boot de taille fixe. La règle la plus spécifique (host, host group, environnement) l’emporte.

Réinitialiser une baseline après une release

Après un changement majeur, le bouton Reset de la période de référence purge les 7 jours précédents et relance l’apprentissage. Gardez en tête qu’une anomaly detection automatique n’est disponible que pour les services et applications qui ont tourné au moins 20 % d’une semaine.

Étape 3 : Maintenance windows et Frequent issue detection

Chemin : Settings > Maintenance windows > Monitoring, alerting, and availability, puis Create maintenance window. Le choix décisif est Problem detection and alerting :

  • Detect problems and alert : rien ne change, une icône marque le problème ;
  • Detect problems but don’t alert : le problème reste visible dans Problems, sans notification. Le bon choix pour une mise en production surveillée ;
  • Disable problem detection : aucun problème ni alerte. Réservez-le aux arrêts complets.

Les périodes couvertes sont exclues du calcul des baselines, planifiées ou non : définissez une fenêtre avant tout test de charge, et une fenêtre Unplanned a posteriori pour une panne déjà passée. Restreignez toujours le scope par filtres (type d’entité, tags, management zones) : sans filtre, la fenêtre couvre tout l’environnement. La limite est de 2000 fenêtres par environnement. Dans l’API, le champ suppression prend les valeurs DETECT_PROBLEMS_AND_ALERT, DETECT_PROBLEMS_DONT_ALERT et DONT_DETECT_PROBLEMS.

La Frequent issue detection (schéma builtin:anomaly-detection.frequent-issues) convertit en frequent issue un problème détecté plusieurs fois par jour sur une semaine et qui ne s’aggrave pas ; l’alerte est alors coupée, puis réactivée si la situation empire. Laissez-la active : la désactiver (par niveau : applications, services, infrastructure, environnement) fait revenir chaque occurrence comme une nouvelle alerte. Mais ne la prenez pas pour une solution : un frequent issue est un défaut chronique à corriger ou un seuil à revoir.

Étape 4 : régler les metric events pour éviter les faux positifs Dynatrace Managed

Chemin : Settings > Anomaly detection > Metric events. Chaque configuration combine une source (metric key ou metric selector), une stratégie (static threshold, auto-adaptive threshold, seasonal baseline ; les deux dernières uniquement en metric selector) et une fenêtre glissante, réglée dans Advanced properties :

  • violatingSamples : nombre d’échantillons d’une minute qui doivent violer le seuil (3 par défaut) ;
  • samples : taille de la fenêtre (5 par défaut, jusqu’à 60 minutes) ;
  • dealertingSamples : échantillons revenus à la normale pour fermer l’événement (5 par défaut).
Extrait du schéma builtin:anomaly-detection.metric-events de la documentation Dynatrace Managed : violatingSamples, samples, dealertingSamples, alertOnNoData et davisMerge

Pour une métrique bruitée, passez par exemple à 10 violations sur 15 échantillons : un pic isolé ne déclenche plus rien. Augmentez dealertingSamples si un problème s’ouvre et se ferme en boucle. Désactivez alertOnNoData sur les séries clairsemées (la documentation prévient qu’il provoque des tempêtes d’alertes) et, pour les métriques arrivant avec 5 minutes de retard, utilisez queryOffset ou une fenêtre d’au moins 10 minutes. En auto-adaptatif, augmentez signalFluctuation ; en seasonal baseline, augmentez tolerance. Laissez davisMerge activé pour que Davis rattache l’événement à un problème existant au lieu d’en ouvrir un nouveau. Utilisez l’aperçu (preview) avant d’enregistrer : il montre combien d’événements la configuration aurait levés. Pour la syntaxe des sélecteurs, voir le module metric selector et alertes.

Choisissez un seuil statique pour une limite absolue (mémoire d’un process connu : un seuil adaptatif suivrait une fuite lente sans jamais alerter) et un seuil auto-adaptatif pour une métrique volatile dont le niveau change, comme le temps d’écriture disque. Attention : les configurations auto-adaptatives sont limitées à 100 par environnement.

Étape 5 : Alerting profiles et Problem notifications

Ces leviers ne suppriment aucun problème : ils décident qui est prévenu. Chemin : Settings > Alerting > Problem alerting profiles, puis Add alerting profile. Le scope combine en ET une management zone, des severity rules (combinées en OU, 100 maximum) et des event filters.

  • Délai : delayInMinutes n’envoie la notification que si le problème reste ouvert plus de X minutes. Un délai de 10 à 15 minutes sur PERFORMANCE élimine les oscillations courtes mesurées à l’étape 1, tout en gardant AVAILABILITY à 0.
  • Tags : tagFilterIncludeMode (NONE, INCLUDE_ANY, INCLUDE_ALL). La correspondance est exacte : une clé seule ne correspond qu’à un tag sans valeur. La documentation recommande des tags manuels plutôt qu’automatiques.
  • Management zone : réduisez chaque profil au périmètre de l’équipe (voir management zones et tagging).

Les Problem notifications (Slack, PagerDuty, Opsgenie…) s’appuient ensuite sur un profil. Une intégration branchée sur le profil Default reçoit tout : c’est la première chose à vérifier. Le détail des intégrations est dans alerting profiles et intégrations.

Étape 6 : industrialiser avec la Settings API

Chaque réglage ci-dessus est un objet de la Settings API v2. Exportez l’état actuel avant toute modification (jeton avec settings.read) :

curl -s -H "Authorization: Api-Token $DT_TOKEN" \
  "https://<votre-domaine>/e/<environment-id>/api/v2/settings/objects?schemaIds=builtin:anomaly-detection.services&scopes=environment" \
  | jq '.items[].value' > services-avant.json

Schémas utiles : builtin:anomaly-detection.services, builtin:anomaly-detection.metric-events, builtin:anomaly-detection.frequent-issues, builtin:alerting.maintenance-window et builtin:alerting.profile. Les écritures passent par POST /api/v2/settings/objects (scope settings.write) ; le paramètre validateOnly=true valide sans enregistrer, pratique en CI. Pour versionner l’ensemble, Monaco gère ces mêmes schémas en fichiers.

Scénarios concrets

  • Service interne à 3 req/min qui alerte chaque nuit : requestsPerMinute à 10 au niveau du service, minutesAbnormalState à 5.
  • Déploiement hebdomadaire du mardi : Maintenance window Weekly, scope par tag de l’application, mode Detect problems but don’t alert.
  • Metric event CPU qui s’ouvre et se ferme toutes les 10 minutes : 5 violations sur 10, dealertingSamples à 10.
  • Environnement de recette dans le même cluster : sensibilité Low sur sa management zone, profil d’alerte avec délai de 30 minutes.

Comment vérifier que ça fonctionne

Après deux semaines, relancez la requête de l’étape 1 sur la même durée et comparez les trois indicateurs. Dans Problems, le filtre Under maintenance liste les problèmes survenus pendant une fenêtre. Pour un metric event, la vue d’ensemble signale sur 24 heures les configurations en THROTTLED, QUERY_FAILED ou CONFIG_BLOCKED. Vérifiez enfin que les vrais incidents connus de la période sont toujours détectés : une baisse du bruit obtenue en masquant un incident réel est une régression, pas un gain.

Bonnes pratiques

  • Un réglage à la fois, mesuré, documenté dans le post-mortem ou le changelog.
  • Régler au niveau le plus fin (service, requête, host group) avant de toucher au global.
  • Ne jamais désactiver une détection d’AVAILABILITY pour faire baisser un compteur.
  • Exporter les settings avant chaque modification pour pouvoir revenir en arrière.

Questions fréquentes

Faut-il passer tous les services en seuils fixes ?

Non. Les seuils fixes conviennent aux requêtes à SLA ou timeout connus. Pour le reste, la baseline automatique avec un seuil absolu relevé et une protection de faible trafic donne moins de faux positifs que des seuils fixes mal entretenus.

Un délai dans l’alerting profile réduit-il les problèmes ?

Non, il réduit seulement les notifications. Le problème reste dans Problems et dans les statistiques. Pour supprimer la détection, réglez l’Anomaly detection, les metric events ou une Maintenance window.

Ces réglages valent-ils pour Dynatrace SaaS ?

Les schémas de settings cités existent aussi en SaaS. En revanche, sur un environnement SaaS récent avec Grail, les nouveaux détecteurs d’anomalies reposent sur DQL : la logique de fenêtre glissante est proche, mais la configuration diffère.

Conclusion

Réduire les faux positifs, c’est rendre à Davis le contexte qui lui manque : trafic minimal, périodes prévues, seuils adaptés à chaque métrique, fenêtres de violation réalistes. Mesurez, réglez un levier, mesurez à nouveau. Une astreinte qui fait confiance aux Problems réagit plus vite, et c’est le MTTR qui en profite.

Pour aller plus loin : Anomaly detection configuration et Adjust the sensitivity of anomaly detection for services (documentation Dynatrace Managed).

span.observer est un blog indépendant, non affilié à Dynatrace LLC. Dynatrace et Davis sont des marques de Dynatrace LLC. Les informations proviennent de la documentation publique ; vérifiez-les sur votre version avant toute modification en production.

Total
0
Shares
Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Previous Post
Traces distribuées Dynatrace Managed : PurePath, filtres et analyse

Distributed traces Dynatrace Managed : PurePath, filtres et analyse

Next Post
Dashboard multi-environnement Dynatrace : tiles cross-environment dans Managed

Dashboard multi-environnement Dynatrace : tiles cross-environment dans Managed

Related Posts