Trois cents alertes Kubernetes par jour, dont une poignée seulement annonce un vrai problème. Le reste parle de pods qui redémarrent pendant un déploiement, de jobs qui échouent puis réussissent, de nœuds brièvement sous pression. L’astreinte finit par tout ignorer, y compris le jour où un namespace atteint son quota et bloque la mise en production.
Dynatrace détecte nativement une série de situations Kubernetes au niveau du nœud, du workload et du namespace. Le travail du SRE n’est pas d’en ajouter, mais de choisir celles qui menacent un SLO et de régler leurs seuils pour qu’une alerte appelle une action. Moins de bruit, c’est un MTTR plus court et moins de toil.
Objectif : passer en revue les détections intégrées, garder celles qui comptent, régler leurs fenêtres d’observation par l’interface ou l’API Settings v2, et vérifier le résultat. Valable pour Dynatrace SaaS et Dynatrace Managed (les schémas de réglages sont identiques, seule l’URL change).
Les trois niveaux des alertes Kubernetes dans Dynatrace
Les réglages de détection d’anomalies Kubernetes sont répartis en trois schémas, chacun avec sa portée :
| Schéma | Portée | Ce qu’il surveille |
|---|---|---|
builtin:anomaly-detection.kubernetes.node |
cluster | nœud non prêt, conditions problématiques (MemoryPressure, DiskPressure, PIDPressure…), saturation des requêtes CPU et mémoire, saturation en nombre de pods |
builtin:anomaly-detection.kubernetes.workload |
cluster ou namespace | redémarrages de conteneurs, déploiement bloqué, pods en Pending ou bloqués en Terminating, workload sans pod prêt, OOM kills, throttling CPU, échecs de jobs, backoff, évictions, préemptions |
builtin:anomaly-detection.kubernetes.namespace |
cluster ou namespace | saturation des quotas de requêtes et de limites CPU et mémoire, quota de pods |
Chaque détection se compose d’un interrupteur enabled et d’une configuration « alerter si … pendant au moins X minutes sur les Y dernières minutes » (samplePeriodInMinutes et observationPeriodInMinutes). Modifier un seuil réinitialise la période d’observation.
Prérequis
- Un cluster surveillé par Dynatrace Operator, avec la surveillance de l’API Kubernetes active (voir connecter Dynatrace Operator).
- Un token API avec
settings.readetsettings.write. curletjq.- URL de l’environnement :
https://{id-env}.live.dynatrace.comen SaaS,https://{votre-domaine}/e/{id-env}en Managed.
Étape 1 : choisir les alertes qui comptent
Partez des SLO, pas de la liste des détections. Une bonne règle : une alerte réveille quelqu’un seulement si l’utilisateur est touché ou va l’être sans intervention.
Nœuds
- Nœud non prêt (
readinessIssues) : à garder, c’est une perte de capacité directe. - Conditions problématiques (
nodeProblematicCondition) : DiskPressure et MemoryPressure précèdent les évictions ; à garder. - Saturation des requêtes CPU/mémoire : utile pour la planification de capacité, rarement urgente. Routez-la vers un canal non bloquant.
Pods et workloads
- Workload sans pod prêt (
workloadWithoutReadyPods) : panne franche, priorité haute. - Déploiement bloqué (
deploymentStuck) : signal précieux pendant une mise en production. - Redémarrages et OOM kills : à garder avec une fenêtre assez longue pour ignorer un redémarrage isolé. Le diagnostic est détaillé dans CrashLoopBackOff et OOMKilled.
- Échecs de jobs : à désactiver au niveau du cluster si vos jobs sont idempotents et relancés, puis à réactiver par namespace pour les jobs critiques.
Quotas
Les alertes de quota de namespace sont les plus sous-estimées : un quota de pods saturé empêche un rollout ou un autoscaling, sans aucun symptôme applicatif avant le pic. Activez-les sur les namespaces de production.
Étape 2 : lire la configuration effective
export DT_ENV="https://abc12345.live.dynatrace.com"
curl -s -H "Authorization: Api-Token $DT_TOKEN" \
"$DT_ENV/api/v2/settings/objects?schemaIds=builtin:anomaly-detection.kubernetes.workload&scopes=environment&fields=objectId,scope,value" \
| jq '.items[] | {objectId, scope, pendingPods: .value.pendingPods, jobFailureEvents: .value.jobFailureEvents}'
Le scope environment donne la valeur par défaut. Remplacez-le par l’identifiant d’un cluster (KUBERNETES_CLUSTER-…) ou d’un namespace (CLOUD_APPLICATION_NAMESPACE-…) pour voir une surcharge locale. Le réglage le plus spécifique l’emporte.
Étape 3 : ajuster un seuil par l’API
Les propriétés du schéma sont toutes obligatoires : on ne poste pas un objet partiel. La méthode sûre consiste à récupérer l’objet, modifier une valeur avec jq, puis le renvoyer.
OBJ=$(curl -s -H "Authorization: Api-Token $DT_TOKEN" \
"$DT_ENV/api/v2/settings/objects?schemaIds=builtin:anomaly-detection.kubernetes.workload&scopes=environment" \
| jq -r '.items[0].objectId')
curl -s -H "Authorization: Api-Token $DT_TOKEN" \
"$DT_ENV/api/v2/settings/objects/$OBJ" \
| jq '{value: (.value | .jobFailureEvents.enabled = false)}' > workload.json
curl -s -X PUT -H "Authorization: Api-Token $DT_TOKEN" \
-H "Content-Type: application/json" \
-d @workload.json \
"$DT_ENV/api/v2/settings/objects/$OBJ"
Pour régler la fenêtre des redémarrages, inspectez d’abord .value.containerRestarts.configuration : les noms de champs de chaque configuration sont donnés par le schéma (GET /api/v2/settings/schemas/builtin:anomaly-detection.kubernetes.workload). Ne devinez pas un nom de propriété : le PUT serait refusé.
Pour une surcharge sur un seul namespace, faites un POST /api/v2/settings/objects avec "scope": "CLOUD_APPLICATION_NAMESPACE-…" et un value complet, copié de la valeur par défaut puis modifié.
Étape 4 : l’interface, pour les réglages ponctuels
Dans Settings > Anomaly detection, les entrées Kubernetes (cluster, nœud, namespace, workload) exposent les mêmes options. Au niveau d’un cluster ou d’un namespace, les réglages s’ouvrent aussi depuis la page de l’entité. Pour un parc de clusters, préférez l’API ou la configuration en code : un réglage cliqué à la main dérive vite.
Comment vérifier que ça fonctionne
- Dans un namespace de test, appliquez un quota de pods bas puis augmentez le nombre de réplicas au-delà :
kubectl create namespace alert-test
kubectl -n alert-test create quota pods-max --hard=pods=3
kubectl -n alert-test create deployment web --image=nginx --replicas=3
kubectl -n alert-test scale deployment web --replicas=5
- Après la période d’observation réglée, cherchez l’événement dans un Notebook :
fetch dt.davis.events
| filter event.status == "ACTIVE"
| fields event.start, event.name, event.category
| sort event.start desc
| limit 20
- Contrôlez que la notification arrive au bon destinataire. Si non, le problème est dans le profil d’alerte, pas dans la détection : voir profils d’alerte et intégrations.
- Nettoyez :
kubectl delete namespace alert-test.
Bonnes pratiques
- Une alerte, un runbook : si personne ne sait quoi faire quand elle sonne, elle n’a pas sa place dans l’astreinte.
- Défauts au cluster, exceptions au namespace : gardez la configuration lisible.
- Fenêtres longues pour les symptômes bruyants (redémarrages, throttling) ; courtes pour les pannes franches (aucun pod prêt).
- Revue mensuelle : comptez les alertes sans action. La méthode est décrite dans réduire le bruit des alertes Davis.
- Requêtes réalistes : les alertes de saturation se basent sur les requêtes déclarées ; des requêtes fausses donnent des alertes fausses (voir requêtes CPU effectives).
- Référence : schéma des détections de workload.
Questions fréquentes
Faut-il dupliquer ces alertes Kubernetes dans Prometheus ?
Non, sauf besoin précis. Doubler les règles double les notifications. Si vous gardez Alertmanager, répartissez clairement : une source par type d’alerte.
Pourquoi une alerte n’apparaît-elle qu’après plusieurs minutes ?
C’est la fenêtre « pendant au moins X minutes sur les Y dernières ». Elle filtre les pics passagers. Raccourcissez-la seulement pour des pannes franches.
Les réglages sont-ils les mêmes en Managed ?
Oui, les schémas sont exposés par l’API Settings v2 dans les deux offres. Vérifiez seulement que votre version de cluster propose chaque propriété citée.
Conclusion
Les bonnes alertes Kubernetes sont peu nombreuses : nœud non prêt, workload sans pod prêt, déploiement bloqué, OOM kills répétés, quotas saturés. Réglez leurs fenêtres, codifiez-les par l’API et testez-les avec un quota volontairement bas. L’astreinte retrouve un signal fiable.
span.observer est un blog indépendant de la communauté, non affilié à Dynatrace LLC. Dynatrace est une marque de son propriétaire. Les noms de réglages et de propriétés évoluent : vérifiez-les dans la documentation officielle de votre version.