Parcours : Dynatrace SaaS · Module 6/8 — logs OpenPipeline · Durée : ~75 min · Niveau : intermédiaire
Objectifs :
- Identifier les chemins par lesquels les logs arrivent dans Grail.
- Explorer et analyser des logs avec l’application Logs et DQL.
- Comprendre les étapes d’OpenPipeline : routage, traitement, extraction, stockage.
- Créer un pipeline qui structure un log et en extrait une métrique.
Prérequis : modules 2 (OneAgent), 3 (DQL) et 5 (Davis) du parcours ; un environnement d’essai qui reçoit déjà quelques logs.
Ce module de formation traite des logs et OpenPipeline dans Dynatrace SaaS : comment les logs entrent dans la plateforme, comment les rendre exploitables avant même de les stocker, et comment les interroger ensuite dans Grail. Les logs sont souvent la source la plus volumineuse et la plus désordonnée d’un environnement ; bien les traiter à l’entrée change à la fois la qualité des analyses et la facture.
Si vous venez de Managed, oubliez l’idée d’un stockage de logs à part : en SaaS, les logs vivent dans Grail aux côtés des traces, des métriques et des événements, et se requêtent avec le même langage.
D’où viennent les logs ?
Trois grandes familles de sources alimentent Grail :
| Source | Principe | Cas typique |
|---|---|---|
| OneAgent | Le module de logs découvre les fichiers et flux des processus surveillés ; des règles d’ingestion décident de ce qui est envoyé. | Hôtes et clusters Kubernetes déjà instrumentés. |
| API et OTLP | Les logs sont poussés en JSON ou au format OpenTelemetry vers l’API d’ingestion, souvent via un ActiveGate. | Applications instrumentées avec OpenTelemetry, collecteurs existants. |
| Intégrations | Extensions et intégrations cloud ou tierces (Fluent Bit, services cloud, etc.). | Services managés sans agent possible. |
Quel que soit le chemin, chaque enregistrement arrive avec des attributs : horodatage, contenu, niveau, et selon la source l’hôte, le pod, le namespace ou le service associés. Ces attributs de contexte font toute la valeur des logs dans Dynatrace, car ils permettent de rebondir d’une ligne de log vers l’entité, la trace ou le problème Davis correspondant.
Explorer les logs dans Grail
L’application Logs offre une exploration filtrée, pratique pour un premier coup d’œil. Pour une analyse reproductible, passez par DQL dans un Notebook :
fetch logs, from:now()-1h
| filter loglevel == "ERROR"
| summarize nb = count(), by:{k8s.namespace.name, log.source}
| sort nb desc
| limit 20
Pour chercher un motif dans le contenu :
fetch logs, from:now()-30m
| filter contains(content, "timeout")
| fields timestamp, dt.entity.host, content
| sort timestamp desc
Les champs disponibles dépendent de la source : un log Kubernetes porte des attributs k8s.*, un log d’hôte classique non. Commencez toujours par un limit 10 pour voir ce que contiennent réellement vos enregistrements. L’article analyse de patterns de logs montre comment passer d’une masse de lignes à quelques motifs récurrents.
Logs OpenPipeline : traiter avant de stocker
OpenPipeline est la couche de traitement des données entrantes de la plateforme. Plutôt que de stocker les logs bruts et de les découper à chaque requête, vous les structurez une fois, à l’ingestion. Le flux se décrit ainsi :
| Étape | Rôle | Exemple |
|---|---|---|
| Source d’ingestion | Point d’entrée des données (OneAgent, API, OTLP…). | Les logs envoyés par OneAgent. |
| Routage | Une condition oriente chaque enregistrement vers un pipeline. | Tout ce qui vient du namespace paiement va vers le pipeline « paiement ». |
| Traitement | Parsing, ajout, renommage ou suppression de champs, masquage, filtrage. | Extraire un code HTTP et une durée du contenu ; masquer une adresse e-mail. |
| Extraction | Créer d’autres données à partir des logs. | Une métrique de nombre d’erreurs, un événement, un événement métier. |
| Stockage et permissions | Choisir le bucket Grail (donc la rétention) et le contexte de sécurité. | Logs de debug dans un bucket à rétention courte. |
Le parsing avec DQL
Les processeurs de traitement s’écrivent avec la syntaxe DQL que vous connaissez déjà. Supposons un log applicatif de la forme order=4521 status=500 duration=812ms. Un processeur peut en extraire des champs typés :
parse content, "LD 'status=' INT:http.status LD 'duration=' INT:duration.ms"
Testez toujours un processeur sur un échantillon de logs réels, directement dans l’éditeur de pipeline ou dans un Notebook avec la même commande parse, avant de l’activer. Un motif qui ne correspond pas laisse simplement les champs vides : l’erreur est silencieuse.
Extraire des métriques
Compter des erreurs à partir des logs à chaque affichage d’un dashboard est coûteux. Une métrique extraite par OpenPipeline est calculée une fois, à l’ingestion, puis se requête avec timeseries comme toute autre métrique. Elle peut alimenter un dashboard du module 4 ou une détection d’anomalie du module 5. L’article métriques histogrammes à l’ingestion pousse l’idée jusqu’aux SLO de latence.
Maîtriser le volume
Filtrer les logs inutiles (health checks, debug en production) dès l’entrée et les diriger vers des buckets à rétention adaptée sont les deux leviers les plus efficaces sur les coûts. Documentez chaque règle d’exclusion : un log supprimé à l’ingestion ne pourra pas être retrouvé pendant un incident.
Exercice pratique
Étape 1 — Inventorier ses logs
Dans un Notebook, comptez les logs de la dernière heure par log.source et par loglevel. Résultat attendu : un tableau qui montre les trois sources les plus bavardes.
Étape 2 — Choisir un format à structurer
Repérez une source dont le contenu contient des paires clé=valeur ou un format stable. Copiez trois lignes représentatives. Résultat attendu : un échantillon sur lequel tester le parsing.
Étape 3 — Tester le parsing
Dans le Notebook, appliquez une commande parse à la source choisie jusqu’à obtenir les champs attendus. Résultat attendu : des colonnes typées (entier, chaîne) remplies pour chaque ligne.
Étape 4 — Créer le pipeline
Dans l’application OpenPipeline, section logs, créez un pipeline avec ce processeur, une extraction de métrique (par exemple le nombre de lignes avec un statut supérieur ou égal à 500), puis une route qui y dirige uniquement la source choisie. Résultat attendu : les nouveaux logs arrivent avec les champs extraits.
Étape 5 — Vérifier
Après quelques minutes, interrogez les logs de la source et la métrique créée avec timeseries. Résultat attendu : des valeurs cohérentes avec le nombre d’erreurs observé dans les logs.
Quiz
- À quel moment OpenPipeline traite-t-il les logs ?
A. À chaque requête DQL · B. À l’ingestion, avant le stockage · C. Une fois par jour · D. Uniquement lors d’un problème Davis - Quelle étape décide vers quel pipeline va un enregistrement ?
A. Le stockage · B. Le routage · C. L’extraction · D. Le masquage - Pourquoi extraire une métrique plutôt que compter les logs à chaque affichage ?
A. Pour perdre les logs d’origine · B. Le calcul est fait une fois et la requête est plus légère · C. Parce que DQL ne sait pas compter · D. Ce n’est jamais utile - Que se passe-t-il si un motif
parsene correspond pas au contenu ?
A. Le log est rejeté · B. Les champs extraits restent vides · C. Le pipeline s’arrête · D. Davis ouvre un problème
Corrigé
- B — OpenPipeline agit sur le flux entrant, ce qui évite de reparser à chaque requête.
- B — une condition de routage oriente chaque enregistrement vers le pipeline adapté.
- B — la métrique est calculée à l’ingestion et se requête ensuite à moindre coût.
- B — l’échec est silencieux, d’où l’importance de tester sur un échantillon réel.
Pour aller plus loin
- Sommaire du parcours Dynatrace SaaS
- Ingestion de logs : détecter le silence, les trous de couverture et les excès de volume
- Analyse de patterns de logs : de la masse brute aux requêtes DQL réutilisables
- Documentation officielle Dynatrace (rubriques Log Management et OpenPipeline)
← Module 5 : Davis et problèmes · Sommaire du parcours · Module 7 : Workflows et automatisation →
Questions fréquentes
Faut-il passer par OpenPipeline pour stocker des logs ?
Les logs sont traités par une configuration par défaut si vous ne définissez rien. Créer vos propres pipelines devient utile dès que vous voulez structurer, filtrer, masquer ou extraire des métriques.
Peut-on parser les logs au moment de la requête plutôt qu’à l’ingestion ?
Oui, la commande parse fonctionne aussi dans une requête DQL. C’est idéal pour explorer ; pour un champ utilisé tous les jours, le parsing à l’ingestion est plus efficace.
Comment éviter de stocker des données personnelles dans les logs ?
Le traitement OpenPipeline permet de masquer ou supprimer des champs avant stockage. Combinez-le avec une revue des logs applicatifs à la source : le meilleur masquage reste de ne pas écrire la donnée.
Les logs bien structurés deviennent une source de métriques, d’alertes et d’enquêtes rapides. Au module suivant, vous utiliserez ces signaux pour déclencher des actions automatiques avec les Workflows.
span.observer est un blog indépendant de la communauté, non affilié à Dynatrace LLC. Ce parcours ne remplace pas les formations et certifications officielles de Dynatrace University. Vérifiez les fonctionnalités dans la documentation officielle de votre version.
2 comments