Trente notifications par nuit, dont deux utiles : l’astreinte finit par ignorer le canal, et le jour où un vrai incident arrive, personne ne réagit. Réduire bruit, alertes en double et faux positifs ne se fait pas en coupant des notifications au hasard. Il faut agir à trois niveaux : la détection d’anomalies, le routage par profil d’alerte et les fenêtres de maintenance.
Objectif : à la fin de ce tutoriel, vous saurez mesurer le bruit actuel, régler la détection d’anomalies d’un service, créer un profil d’alerte qui ne pagine que sur l’impact réel, et vérifier le résultat. Le contenu vaut pour Dynatrace Managed et Dynatrace SaaS ; les différences (Workflows, DQL) sont signalées.
Si le fonctionnement de Davis vous est encore flou, relisez le module Davis et alerting avant de commencer.
Le problème : réduire bruit, alertes inutiles et fatigue sans perdre les vrais incidents
Le bruit a un coût SRE mesurable : fatigue d’astreinte, MTTR allongé parce que le signal se perd, et toil de tri manuel. L’erreur classique consiste à relever tous les seuils. On perd alors la détection précoce. L’approche saine : garder une détection large, et filtrer ce qui réveille quelqu’un.
Prérequis
- Un environnement Dynatrace (SaaS ou Managed) avec des services surveillés par OneAgent.
- Le droit de modifier les paramètres de l’environnement.
- Un token d’API avec les scopes de lecture et d’écriture des paramètres (
settings.read,settings.write) et de lecture des problèmes (problems.read). - Une intégration de notification existante (PagerDuty, Opsgenie, e-mail, webhook…).
Étape 1 : mesurer le bruit actuel
On ne réduit que ce qu’on mesure. Récupérez les problèmes des 7 derniers jours :
curl -s -G "$DT_ENV/api/v2/problems" \
-H "Authorization: Api-Token $DT_TOKEN" \
--data-urlencode 'from=now-7d' \
--data-urlencode 'pageSize=500' \
| jq -r '.problems[] | [.severityLevel, .impactLevel, .title] | @tsv' \
| sort | uniq -c | sort -rn | head -20
En SaaS, la même analyse se fait en DQL dans un Notebook :
fetch dt.davis.problems, from: now()-7d
| summarize problems = count(), by: { event.category, event.name }
| sort problems desc
| limit 20
Les noms de champs des problèmes Davis peuvent varier selon la version : affichez un enregistrement brut avec fetch dt.davis.problems | limit 1 pour les confirmer. Repérez les titres qui reviennent souvent et sans action derrière : ce sont vos cibles.
Étape 2 : régler la détection d’anomalies d’un service
Pour un service bavard (batch, API interne tolérante aux erreurs), ajustez sa détection plutôt que de la désactiver. Dans les paramètres du service, section Anomaly detection, vous pouvez notamment :
- passer la détection du taux d’échec en seuil fixe adapté au service, plutôt qu’en mode automatique ;
- relever le nombre minimal de requêtes par minute pris en compte, pour ignorer les services quasi inactifs ;
- ajuster la sensibilité de la détection du temps de réponse.
Les mêmes réglages existent dans l’API Settings v2. Récupérez d’abord le schéma pour connaître les champs exacts de votre version :
curl -s "$DT_ENV/api/v2/settings/schemas/builtin:anomaly-detection.services" \
-H "Authorization: Api-Token $DT_TOKEN" | jq '.properties | keys'
curl -s -G "$DT_ENV/api/v2/settings/objects" \
-H "Authorization: Api-Token $DT_TOKEN" \
--data-urlencode 'schemaIds=builtin:anomaly-detection.services' \
--data-urlencode 'scopes=SERVICE-0123456789ABCDEF' | jq '.items[0].value'
Partez de la valeur renvoyée, modifiez uniquement les champs voulus, puis renvoyez l’objet avec POST /api/v2/settings/objects en précisant le scope du service. Ne recopiez pas un corps trouvé ailleurs : le schéma fait foi. La documentation de référence est sur docs.dynatrace.com.
Étape 3 : un profil d’alerte qui ne pagine que sur l’impact
Le profil d’alerte décide quels problèmes déclenchent une notification. Créez un profil « astreinte » distinct du profil « information » :
- Filtrez sur une management zone ou un tag d’équipe, pour que chaque équipe ne reçoive que ses services.
- Pour les sévérités Availability et Error, gardez un délai court (0 à 5 minutes).
- Pour Slowdown et Resource, ajoutez un délai (par exemple 15 à 30 minutes) : les problèmes qui se résolvent seuls avant ce délai ne notifient pas.
- Excluez les sévérités Custom (alertes personnalisées) et Monitoring unavailable du profil d’astreinte si elles ne demandent pas d’action immédiate ; envoyez-les vers un canal non bloquant.
Le schéma correspondant dans l’API Settings est builtin:alerting.profile. Interrogez-le comme à l’étape 2 avant d’automatiser. La configuration détaillée des profils et des intégrations est décrite dans alerting, profils et intégrations. Rattachez enfin l’intégration de pagination à ce profil uniquement.
Étape 4 : fenêtres de maintenance et déploiements
Une partie du bruit vient des opérations planifiées. Déclarez une fenêtre de maintenance pour les redémarrages et migrations connus, avec l’option qui supprime les alertes mais conserve la détection. Ainsi, Davis garde l’historique et vous pouvez analyser la fenêtre ensuite. Pour les déploiements, envoyez un événement de déploiement depuis votre pipeline : Davis le prend en compte dans son analyse de cause.
Étape 5 : alerter sur les SLO plutôt que sur les symptômes
Le levier le plus fort reste de paginer sur l’error budget plutôt que sur chaque anomalie. Une alerte de burn rate ne se déclenche que si la fiabilité perçue est menacée. Mise en place : alertes burn rate SLO. En SaaS, un Workflow peut aussi filtrer et enrichir les problèmes avant notification ; en Managed, le profil d’alerte reste l’outil principal.
Comment vérifier que ça fonctionne
- Relancez la requête de l’étape 1 une semaine plus tard et comparez le nombre de problèmes notifiés.
- Vérifiez que les problèmes Availability notifient toujours : déclenchez un test sur un service de préproduction (arrêt d’un processus) et contrôlez la notification.
- Dans la page d’un problème, la liste des notifications envoyées indique quel profil a été appliqué.
- Suivez deux indicateurs : nombre de pages par semaine et part des pages ayant donné lieu à une action. Visez une part d’action élevée.
Bonnes pratiques
- Toute page doit être actionnable ; sinon, elle va dans un canal d’information.
- Changez un réglage à la fois et notez-le, pour savoir lequel a réduit le bruit.
- Revoyez les alertes ignorées lors de chaque rétrospective blameless.
- Versionnez profils et réglages de détection (API Settings ou Terraform).
- Ne désactivez jamais la détection d’indisponibilité pour faire baisser le volume.
Questions fréquentes
Faut-il désactiver la détection automatique pour réduire le bruit ?
Rarement. Il vaut mieux l’ajuster par service et filtrer au niveau du profil d’alerte. La désactiver supprime aussi le contexte utile à l’analyse de cause.
Le délai de notification retarde-t-il les vrais incidents ?
Pour les sévérités concernées, oui, de la durée choisie. C’est pourquoi on le réserve aux ralentissements et aux ressources, pas aux indisponibilités.
Ces réglages sont-ils identiques en SaaS et en Managed ?
Les profils d’alerte, la détection d’anomalies et les fenêtres de maintenance existent des deux côtés. Les Workflows et DQL sont propres au SaaS.
Conclusion
Une astreinte calme n’est pas une astreinte aveugle. Mesurez, ajustez la détection service par service, filtrez par profil, puis basculez progressivement vers des alertes sur l’error budget. Le résultat : moins de pages, et chacune compte.
span.observer est un blog indépendant de la communauté, non affilié à Dynatrace LLC. Dynatrace est une marque de son propriétaire. Les noms d’écrans et de champs peuvent varier selon la version : vérifiez-les dans la documentation officielle.