Créer une alerte Dynatrace pas à pas : metric events, données manquantes et Alerting profiles

Créer une alerte Dynatrace pas à pas : metric event, seuil, alerte sur données manquantes, fenêtre glissante, Alerting profile et version Settings API.
Créer une alerte Dynatrace pas à pas : metric events, données manquantes et Alerting profiles

Un batch de facturation s’arrête un vendredi soir. Aucun CPU ne sature, aucun service ne ralentit : Davis n’a rien à signaler, parce que rien n’est anormal du point de vue des métriques intégrées. Le lundi, ce sont les clients qui préviennent. Pour éviter ce scénario, il faut savoir créer une alerte Dynatrace sur ce qui compte pour vous : un seuil métier, une métrique custom, ou l’absence de données elle-même.

Ce tutoriel montre comment créer une alerte Dynatrace de bout en bout : définir un metric event (seuil statique, auto-adaptatif ou seasonal baseline), activer l’alerte sur données manquantes (alert on missing data), écrire un message d’événement utile, puis router la notification avec un Alerting profile. Il se termine par la version « as code » via la Settings API et par une méthode de vérification.

Le pas-à-pas vaut pour Dynatrace Managed et pour les environnements Dynatrace SaaS qui utilisent encore les metric events (marqués « Dynatrace Classic » dans la documentation). Sur SaaS, Dynatrace recommande désormais les custom alerts basées sur DQL : la section dédiée explique ce qui change.

Ce qu’il faut savoir avant de créer une alerte Dynatrace

Dans Dynatrace, une alerte se construit en deux temps, et les confondre est la première source de bruit :

  1. La détection : un metric event évalue une métrique chaque minute et lève un événement quand le seuil est violé. Davis rattache cet événement à une entité et l’intègre à un problème (Problems).
  2. La notification : un Alerting profile filtre les problèmes (management zone, sévérité, durée, tags, événements) ; une intégration (e-mail, Slack, webhook…) liée à ce profil envoie le message.

Les metric events existent en deux types. Le type Metric key évalue les mesures brutes d’une seule métrique, avec un seuil statique uniquement. Le type Metric selector évalue une requête complète (transformations, expressions entre métriques, historique) et donne accès aux trois stratégies : Static threshold, Auto-adaptive threshold et Seasonal baseline. Point important : l’alerte sur données manquantes n’est pas disponible pour le type Metric key. Si vous voulez détecter un flux qui s’arrête, partez d’un metric selector.

Quelques limites à garder en tête (documentation Dynatrace Managed) : 10 000 configurations de metric events par environnement, 100 000 dimensions surveillées par environnement, 1 000 dimensions par configuration (500 en seasonal baseline) et 100 metric selectors par stratégie. Un metric event de type Metric key est en outre limité à 200 alertes simultanées.

Prérequis

  • Un environnement Dynatrace Managed ou SaaS, avec les droits de modifier les settings (un administrateur pour créer un metric event sans management zone).
  • La métrique à surveiller, visible dans Data Explorer. Pour une métrique métier, voir créer une métrique custom dans Dynatrace.
  • Pour la partie API : un jeton avec les scopes settings.read et settings.write.

Tutoriel : créer une alerte Dynatrace avec un metric event

Étape 1 — Ouvrir la page Metric events

Allez dans Settings > Anomaly detection > Metric events. La page commence par un aperçu des limites consommées et liste les configurations en échec sur les dernières 24 heures, avec un statut : THROTTLED (limites de requête atteintes), QUERY_FAILED (management zone ou tag disparu, données absentes, résolution d’une minute indisponible) ou CONFIG_BLOCKED (configuration trop coûteuse, bloquée). Jetez-y un œil avant d’ajouter une alerte : une configuration bloquée ne détecte plus rien.

Page Settings, Anomaly detection, Metric events de Dynatrace : aperçu des limites, configurations en échec THROTTLED et QUERY_FAILED, bouton Add metric event et liste des metric events
Source : docs.dynatrace.com

Sélectionnez Add metric event, puis renseignez Summary : une description courte qui permettra de retrouver la configuration dans six mois (« Batch facturation : exécutions manquantes »).

Étape 2 — Définir la requête

Dans Query definition, choisissez le type Metric selector et saisissez la requête. Exemple pour un batch qui envoie un point par exécution via l’API d’ingestion :

batchjob.executions:splitBy("dt.entity.host"):sum
  • Management zone : restreint l’évaluation aux données de cette zone. Laissez vide pour tout l’environnement. Les management zones définies par des règles sur données dimensionnelles ne sont pas prises en charge.
  • Query offset (dans Advanced query definition) : décalage en minutes pour les métriques qui arrivent en retard (métriques cloud, ingestion par lot). Sans lui, le metric event voit des minutes vides et produit de fausses alertes.

Avec le type Metric key, vous choisissez la métrique par sa clé ou son nom, une agrégation, puis vous pouvez ajouter des entity filters (nom, tag, host group, management zone…) et des dimension filters, combinés en ET.

Étape 3 — Choisir la stratégie et le seuil

Dans Monitoring strategy, choisissez le modèle :

Stratégie Quand l’utiliser
Static threshold Limite absolue connue : taux d’erreur contractuel, file d’attente maximale, zéro exécution.
Auto-adaptive threshold Métrique dont le niveau normal évolue ; Dynatrace calcule et ajuste le seuil.
Seasonal baseline Métrique à motif saisonnier (trafic jour/nuit, semaine/week-end) ; Dynatrace calcule une bande de confiance.

Pour un seuil statique, Use suggested threshold propose une valeur fondée sur l’historique : bon point de départ, à valider. Choisissez ensuite la condition : au-dessus, en dessous ou, pour un metric selector, en dehors (outside) de la bande.

Étape 4 — Activer l’alerte sur données manquantes (alert on missing data)

C’est l’option qui aurait sauvé le batch du vendredi. Quand elle est activée, chaque échantillon d’une minute sans donnée compte comme un échantillon en violation ; elle se combine avec la condition de seuil par un OU. Désactivée, l’absence de donnée n’est pas une violation mais compte encore pour la fermeture de l’événement.

Extrait de la documentation Dynatrace Managed du schéma builtin:anomaly-detection.metric-events : description du champ alertOnNoData, alertCondition ABOVE BELOW OUTSIDE, violatingSamples, samples et dealertingSamples

La documentation le dit clairement : désactivez cette option sur les séries clairsemées (une métrique qui n’a de valeur que quand une erreur survient, par exemple), sinon chaque minute calme déclenche une alerte. Réservez-la aux signaux censés arriver en continu : heartbeat, compteur d’exécutions d’un job fréquent, métrique d’une extension. Pour un batch toutes les 15 minutes, la fenêtre glissante doit couvrir plus d’une période (voir étape suivante).

Étape 5 — Régler la fenêtre glissante

Dans Advanced model properties, trois valeurs pilotent la nervosité de l’alerte :

  • Violating samples (violatingSamples) : nombre d’échantillons d’une minute en violation pour lever l’événement ;
  • Sliding window (samples) : taille de la fenêtre, jusqu’à 60 échantillons ;
  • Dealerting samples (dealertingSamples) : échantillons revenus à la normale pour fermer l’événement.

Les violations n’ont pas besoin d’être consécutives. Pour le batch toutes les 15 minutes, une fenêtre de 30 échantillons avec 30 violations exigées signifie « aucune exécution depuis 30 minutes », soit deux cycles manqués. Utilisez ensuite l’aperçu (preview) sur 1, 3 ou 7 jours : il montre combien d’événements la configuration aurait levés.

Étape 6 — Écrire le message et choisir le type d’événement

Donnez un Title court (« Batch facturation arrêté ») et une Description exploitable par l’astreinte. Les placeholders disponibles : {alert_condition}, {baseline}, {dims} (ou {dims:dt.entity.<entity>}), {entityname}, {metricname}, {missing_data_samples}, {severity} et {threshold}. Incluez {missing_data_samples} : la documentation le recommande pour distinguer une alerte due aux données manquantes d’une violation de seuil.

Le batch {dims:dt.entity.host} n'a pas signalé d'exécution.
Échantillons sans donnée : {missing_data_samples}. Condition : {alert_condition} {threshold}.
Runbook : https://wiki.exemple.local/runbooks/batch-facturation

Choisissez l’Event type (par exemple AVAILABILITY pour un arrêt, ERROR, SLOWDOWN, RESOURCE ou CUSTOM_ALERT) : il détermine la sévérité du problème, donc les règles d’Alerting profile qui le captent. Laissez Allow merge activé pour que Davis rattache l’événement à un problème existant plutôt que d’en ouvrir un nouveau. Ajoutez au besoin des propriétés clé-valeur (équipe, runbook), puis Save changes.

Étape 7 — Router la notification avec un Alerting profile

Allez dans Settings > Alerting > Problem alerting profiles et sélectionnez Add alerting profile. Le scope combine en ET une management zone, des severity rules (jusqu’à 100, combinées en OU) et des event filters (jusqu’à 20). Pour notre cas :

  1. Management zone de l’équipe Facturation ;
  2. Severity rule : Availability, délai de 0 minute ;
  3. Event filter Custom : titre commençant par « Batch facturation ».

Le profil Default existe toujours ; il peut être modifié mais pas supprimé. Branchez ensuite une intégration de Problem notifications sur votre nouveau profil, et non sur Default : voir envoyer les alertes Dynatrace vers Slack et Teams et alerting profiles et intégrations.

Créer la même alerte avec la Settings API

Une alerte cliquée dans l’interface finit par diverger entre environnements. Le schéma builtin:anomaly-detection.metric-events décrit exactement les champs vus plus haut. Exemple (Managed : https://{votre-domaine}/e/{id-environnement}) :

curl -s -X POST "https://{votre-domaine}/e/{id-environnement}/api/v2/settings/objects?validateOnly=true" \
  -H "Authorization: Api-Token {token}" -H "Content-Type: application/json" \
  -d '[{
  "schemaId": "builtin:anomaly-detection.metric-events",
  "scope": "environment",
  "value": {
    "enabled": true,
    "summary": "Batch facturation : exécutions manquantes",
    "queryDefinition": {
      "type": "METRIC_SELECTOR",
      "metricSelector": "batchjob.executions:splitBy(\"dt.entity.host\"):sum"
    },
    "modelProperties": {
      "type": "STATIC_THRESHOLD",
      "threshold": 1,
      "alertCondition": "BELOW",
      "alertOnNoData": true,
      "violatingSamples": 30,
      "samples": 30,
      "dealertingSamples": 5
    },
    "eventTemplate": {
      "title": "Batch facturation arrêté",
      "description": "Échantillons sans donnée : {missing_data_samples}",
      "eventType": "AVAILABILITY",
      "davisMerge": true
    }
  }
}]'

validateOnly=true valide sans enregistrer : retirez-le une fois la réponse sans erreur. Le schéma n’accepte que ABOVE, BELOW et OUTSIDE pour alertCondition. Récupérez ensuite le schéma complet pour votre version (GET /api/v2/settings/schemas/builtin:anomaly-detection.metric-events) avant d’automatiser. Pour versionner ces objets, Monaco ou Terraform font le même travail en fichiers.

Dynatrace SaaS : metric events ou custom alerts ?

Sur SaaS, les metric events restent utilisables, mais la documentation encourage à passer aux custom alerts fondées sur DQL : elles interrogent Grail et peuvent alerter sur des logs, des spans ou des business events. Depuis la version 1.344, elles se gèrent dans Settings > Analyze and alert > Alerts > All alerts, onglet Custom alerts (l’application Anomaly Detection est dépréciée). Le mode Simple prend une requête DQL (avec interval: 1m recommandé), un analyseur, un seuil et un modèle d’événement ; le mode Advanced ajoute le choix entre données Timeseries et Records, un délai d’exécution de 1 à 60 minutes et l’acteur (utilisateur ou service user).

L’option Improve metric events with DQL convertit un metric event existant : la configuration d’origine est désactivée automatiquement. Attention, les management zones ne sont pas prises en charge par ces alertes et sont perdues à la conversion. Sur Managed, rien de cela n’existe : les metric events restent l’outil.

Comment vérifier que ça fonctionne

  1. Dans l’éditeur du metric event, l’aperçu sur 7 jours doit montrer des événements aux moments où le batch s’est réellement arrêté, et aucun le reste du temps.
  2. Arrêtez le batch en environnement de test : après la fenêtre choisie, un problème apparaît dans Problems, avec votre titre et le nombre d’échantillons manquants dans la description.
  3. Dans l’intégration liée au profil, Send test notification confirme le canal ; le problème réel doit ensuite arriver avec le même contenu.
  4. Revenez sur la page Metric events le lendemain : votre configuration ne doit pas figurer dans la liste des échecs (THROTTLED, QUERY_FAILED).

Bonnes pratiques

  • Une alerte = un symptôme visible pour l’utilisateur ou le métier ; les causes se lisent dans le problème Davis.
  • Alerte sur données manquantes uniquement pour les signaux continus, jamais pour les séries clairsemées.
  • Fenêtre glissante calée sur la période réelle du signal, validée par l’aperçu.
  • Un runbook dans chaque description ; des propriétés clé-valeur pour l’équipe propriétaire.
  • Profils d’alerte par équipe ; aucune intégration sur le profil Default.

Pour réduire ensuite le volume global d’alertes, voir réduire le bruit des alertes Davis et les réglages contre les faux positifs.

Questions fréquentes

Pourquoi l’option d’alerte sur données manquantes n’apparaît-elle pas ?

Vous êtes en type Metric key. Cette option n’existe que pour un metric event de type Metric selector : changez le type de requête, la métrique peut rester la même.

Mon metric event lève une alerte, mais personne n’est notifié. Pourquoi ?

La détection a fonctionné ; la notification dépend de l’Alerting profile. Vérifiez que la sévérité correspondant à l’Event type choisi est couverte par une severity rule, que le délai n’est pas trop long et que l’intégration est branchée sur ce profil.

Faut-il préférer le seuil auto-adaptatif au seuil statique ?

Non par principe. Un seuil adaptatif suit une dérive lente sans alerter, ce qui convient mal à une limite absolue. Gardez le statique pour les limites connues et l’adaptatif ou la seasonal baseline pour les métriques dont le niveau normal varie.

Conclusion

Créer une alerte Dynatrace utile tient en peu de décisions : la bonne requête, la bonne stratégie, une fenêtre réaliste, l’alerte sur données manquantes là où le silence est un incident, et un profil qui envoie le problème à la bonne équipe. Le gain se mesure en MTTR : le batch du vendredi est détecté en 30 minutes au lieu de trois jours.

Références : Metric selector events (documentation Managed) et Configure a simple custom alert (documentation SaaS).

span.observer est un blog indépendant, non affilié à Dynatrace LLC. Dynatrace et Davis sont des marques de Dynatrace LLC. Les informations proviennent de la documentation publique ; vérifiez-les sur votre version avant toute modification en production.

Total
0
Shares
Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Previous Post
Dynatrace vs AppDynamics : concepts, déploiement et POC pour une équipe SRE

Dynatrace vs AppDynamics : concepts, déploiement et POC pour une équipe SRE

Next Post
Alertes Dynatrace Slack et Microsoft Teams : Problem notifications, webhook et Workflows

Alertes Dynatrace Slack et Microsoft Teams : Problem notifications, webhook et Workflows

Related Posts