L’incident est clos, l’astreinte est fatiguée, et la réunion de retour d’expérience tourne à la recherche du coupable. Un postmortem sans blâme change la question : non plus « qui a fait l’erreur ? », mais « qu’est-ce qui, dans le système, a rendu l’erreur possible et sa détection lente ? ». Ce tutoriel fournit un modèle de document et les requêtes DQL pour le remplir avec des faits tirés de Dynatrace.
Objectif : à la fin, vous aurez un modèle de postmortem prêt à copier, une chronologie reconstruite à partir des problèmes Davis, des métriques, des logs et des spans, et une mesure de l’impact sur l’error budget. Les requêtes DQL concernent Dynatrace SaaS (Grail, Notebooks). Sur Dynatrace Managed, le modèle reste valable ; la collecte des faits passe par l’interface des problèmes, l’explorateur de données et l’API v2, comme indiqué plus bas.
Pour revoir comment Davis regroupe les événements en problèmes, consultez le module Davis et problèmes du parcours SaaS.
Le problème : des postmortems faits de souvenirs
Sans données, la chronologie se reconstruit de mémoire, dans un fil de discussion. Les heures sont approximatives, la détection paraît plus rapide qu’elle ne l’a été, et la discussion glisse vers les personnes. Un postmortem fondé sur des requêtes rejouables est vérifiable, comparable d’un incident à l’autre, et oriente les actions vers le système. Le chapitre « Postmortem Culture » du livre SRE de Google pose les principes ; ce tutoriel les outille.
Prérequis
- Un environnement Dynatrace SaaS avec accès aux Notebooks et lecture des problèmes, logs, spans et métriques dans Grail.
- L’identifiant du problème Davis lié à l’incident (format
P-XXXXXX). - Un SLO existant sur le service touché, idéalement avec des alertes burn rate SLO.
- Un espace partagé pour le document (wiki, dépôt Git, Notebook partagé).
Le modèle de postmortem sans blâme
Copiez ce squelette au début de chaque retour d’expérience. Chaque section renvoie à une requête du tutoriel.
# Postmortem — <titre court, sans nom de personne>
Statut : brouillon | relu | clos
Problème Davis : P-XXXXXX Sévérité : ...
## Résumé (3 lignes)
## Impact
- Utilisateurs touchés, durée, error budget consommé (requête 3)
## Chronologie (UTC)
- Début de la dégradation / détection / alerte / atténuation / résolution (requêtes 1 et 2)
## Facteurs contributifs
- Techniques, organisationnels, de détection — jamais « erreur humaine » seule
## Ce qui a bien fonctionné
## Actions
| Action | Type (prévenir/détecter/atténuer) | Propriétaire | Échéance |
La règle d’écriture : décrire des actions et des décisions avec le contexte disponible à ce moment-là. « Le déploiement a été lancé car le contrôle de préproduction était vert » au lieu de « Paul a déployé sans vérifier ».
Étape 1 : reconstruire la chronologie du problème
Les problèmes Davis sont interrogeables dans Grail. Cette requête renvoie les horodatages et les entités concernées :
fetch dt.davis.problems
| filter display_id == "P-XXXXXX"
| fields event.start, event.end, event.status, event.name,
root_cause_entity_id, affected_entity_ids
| sort event.start asc
Plusieurs lignes peuvent apparaître pour un même problème, car son état est mis à jour au fil du temps : gardez la plus récente pour event.end. Les noms de champs peuvent évoluer ; si l’un d’eux manque, retirez la ligne fields pour voir l’enregistrement complet.
Étape 2 : situer le début réel de la dégradation
Le problème s’ouvre quand Davis détecte une anomalie, souvent après le début réel. Remontez le temps avec les métriques de service :
timeseries {
total = sum(dt.service.request.count),
failures = sum(dt.service.request.failure_count)
},
from: "2026-09-30T13:00:00Z", to: "2026-09-30T17:00:00Z",
interval: 1m,
filter: { in(dt.entity.service, "SERVICE-0123456789ABCDEF") }
| fieldsAdd taux_erreur = 100 * failures[] / total[]
Le premier intervalle où taux_erreur s’écarte de sa ligne de base donne le « début de la dégradation ». L’écart entre ce moment et l’ouverture du problème, c’est votre délai de détection, l’un des leviers majeurs du MTTR. Complétez avec les logs d’erreur de la même fenêtre :
fetch logs, from: "2026-09-30T13:00:00Z", to: "2026-09-30T17:00:00Z"
| filter loglevel == "ERROR"
| filter dt.entity.service == "SERVICE-0123456789ABCDEF"
| summarize erreurs = count(), by: { bin(timestamp, 1m), content }
| sort erreurs desc
| limit 20
Pour regrouper des messages proches plutôt que des contenus identiques, voir l’analyse des patterns de logs.
Étape 3 : chiffrer l’impact sur l’error budget
Comptez les requêtes en échec pendant l’incident et rapportez-les au budget de la fenêtre du SLO :
timeseries {
total = sum(dt.service.request.count),
failures = sum(dt.service.request.failure_count)
},
from: "2026-09-30T13:42:00Z", to: "2026-09-30T15:10:00Z",
filter: { in(dt.entity.service, "SERVICE-0123456789ABCDEF") }
| fieldsAdd t = arraySum(total), f = arraySum(failures)
| fields t, f
Exemple de calcul : SLO de 99,9 % sur 30 jours, 50 millions de requêtes sur la fenêtre, donc un budget de 50 000 échecs. Si f vaut 12 000, l’incident a consommé 24 % du budget. Ce chiffre, plus parlant qu’une durée, alimente la décision de geler ou non les releases : voir budget d’erreur et release gate.
Étape 4 : retrouver les traces représentatives
Une ou deux traces en échec rendent le postmortem concret pour les développeurs :
fetch spans, from: "2026-09-30T13:42:00Z", to: "2026-09-30T15:10:00Z"
| filter dt.entity.service == "SERVICE-0123456789ABCDEF"
| filter request.is_failed == true
| fields start_time, trace.id, span.name, duration
| sort duration desc
| limit 5
Collez les trace.id dans le document : chacun pourra ouvrir la trace distribuée et vérifier le raisonnement.
Et sur Dynatrace Managed ?
Sans Grail, récupérez la chronologie du problème avec l’API v2 :
curl -s "https://VOTRE-CLUSTER/e/ID-ENV/api/v2/problems?problemSelector=displayId(\"P-XXXXXX\")" \
-H "Authorization: Api-Token $DT_TOKEN" \
| jq '.problems[] | {displayId, title, startTime, endTime, rootCauseEntity}'
Le token nécessite le scope de lecture des problèmes (problems.read). Les courbes d’erreurs viennent de l’explorateur de données, les logs de la visionneuse de logs. Le modèle de document, lui, ne change pas.
Comment vérifier que ça fonctionne
- Chaque horodatage de la chronologie est lié à une requête rejouable, pas à un souvenir.
- Deux personnes qui relancent les requêtes obtiennent les mêmes chiffres d’impact.
- Le document ne contient aucun nom de personne dans les sections « Facteurs contributifs » et « Actions », seulement des rôles et des systèmes.
- Chaque action a un propriétaire et une échéance, et un suivi est planifié lors de la revue suivante.
Bonnes pratiques
- Enregistrer les requêtes dans un Notebook dédié à l’incident et le lier au document.
- Classer les actions en prévenir, détecter, atténuer : un postmortem sans action de détection est souvent incomplet.
- Écrire vite : un brouillon dans les 48 heures, quand les données et le contexte sont frais.
- Partager largement : un postmortem lu par d’autres équipes évite la même panne ailleurs.
- Mesurer la tendance : suivez le délai de détection d’un incident à l’autre ; c’est l’indicateur que vos actions marchent.
Questions fréquentes
Un postmortem sans blâme signifie-t-il qu’il n’y a pas de responsabilité ?
Non. Les actions ont des propriétaires et des échéances. Ce qui disparaît, c’est la sanction d’une personne pour une décision raisonnable avec l’information dont elle disposait.
Faut-il un postmortem pour chaque problème Davis ?
Non. Réservez-le aux incidents qui consomment une part notable de l’error budget ou touchent les clients. Fixez le seuil à l’avance, par exemple 10 % du budget.
Peut-on automatiser la collecte des données ?
Oui, partiellement : un Workflow déclenché à la fermeture d’un problème peut exécuter les requêtes et pré-remplir un brouillon. Vérifiez les déclencheurs et actions disponibles dans la documentation de votre environnement SaaS.
Conclusion
Un postmortem sans blâme repose sur deux piliers : un ton tourné vers le système et des faits vérifiables. Les requêtes DQL de ce tutoriel transforment la chronologie, l’impact et les traces en données rejouables, et l’error budget donne une mesure commune pour décider des priorités.
span.observer est un blog indépendant de la communauté, non affilié à Dynatrace LLC. Dynatrace est une marque de son propriétaire. Les fonctionnalités SaaS évoluent vite : vérifiez leur disponibilité dans votre environnement et dans la documentation officielle.