Trescientas alertas Kubernetes al día, de las que solo un puñado anuncia un problema real. El resto habla de pods que se reinician durante un despliegue, de jobs que fallan y luego tienen éxito, de nodos brevemente bajo presión. La guardia (on-call) acaba ignorándolo todo, incluido el día en que un namespace alcanza su cuota y bloquea el paso a producción.
Dynatrace detecta de forma nativa una serie de situaciones de Kubernetes a nivel de nodo, de workload y de namespace. El trabajo del SRE no es añadir más, sino elegir las que amenazan un SLO y ajustar sus umbrales para que una alerta exija una acción. Menos ruido significa un MTTR más corto y menos toil.
Objetivo: repasar las detecciones integradas, conservar las que importan, ajustar sus ventanas de observación desde la interfaz o con la API Settings v2, y comprobar el resultado. Válido para Dynatrace SaaS y Dynatrace Managed (los esquemas de ajustes son idénticos, solo cambia la URL).
Los tres niveles de las alertas Kubernetes en Dynatrace
Los ajustes de detección de anomalías de Kubernetes se reparten en tres esquemas, cada uno con su alcance:
| Esquema | Alcance | Qué vigila |
|---|---|---|
builtin:anomaly-detection.kubernetes.node |
clúster | nodo no listo, condiciones problemáticas (MemoryPressure, DiskPressure, PIDPressure…), saturación de las solicitudes de CPU y memoria, saturación del número de pods |
builtin:anomaly-detection.kubernetes.workload |
clúster o namespace | reinicios de contenedores, despliegue bloqueado, pods en Pending o bloqueados en Terminating, workload sin pod listo, OOM kills, throttling de CPU, fallos de jobs, backoff, evicciones, preempciones |
builtin:anomaly-detection.kubernetes.namespace |
clúster o namespace | saturación de las cuotas de solicitudes y de límites de CPU y memoria, cuota de pods |
Cada detección consta de un interruptor enabled y de una configuración «alertar si … durante al menos X minutos en los últimos Y minutos» (samplePeriodInMinutes y observationPeriodInMinutes). Modificar un umbral reinicia el periodo de observación.
Requisitos previos
- Un clúster monitorizado por Dynatrace Operator, con la monitorización de la API de Kubernetes activa (consulta conectar Dynatrace Operator).
- Un token de API con
settings.readysettings.write. curlyjq.- URL del entorno:
https://{id-env}.live.dynatrace.comen SaaS,https://{tu-dominio}/e/{id-env}en Managed.
Paso 1: elegir las alertas que importan
Parte de los SLO, no de la lista de detecciones. Una buena regla: una alerta despierta a alguien solo si el usuario está afectado o lo va a estar sin intervención.
Nodos
- Nodo no listo (
readinessIssues): conservar, es una pérdida directa de capacidad. - Condiciones problemáticas (
nodeProblematicCondition): DiskPressure y MemoryPressure preceden a las evicciones; conservar. - Saturación de solicitudes de CPU/memoria: útil para la planificación de capacidad, rara vez urgente. Enrútala a un canal no bloqueante.
Pods y workloads
- Workload sin pod listo (
workloadWithoutReadyPods): caída franca, prioridad alta. - Despliegue bloqueado (
deploymentStuck): señal valiosa durante un paso a producción. - Reinicios y OOM kills: conservar con una ventana lo bastante larga para ignorar un reinicio aislado. El diagnóstico se detalla en CrashLoopBackOff y OOMKilled.
- Fallos de jobs: desactívalos a nivel de clúster si tus jobs son idempotentes y se relanzan, y reactívalos por namespace para los jobs críticos.
Cuotas
Las alertas de cuota de namespace son las más subestimadas: una cuota de pods saturada impide un rollout o un autoscaling, sin ningún síntoma en la aplicación antes del pico. Actívalas en los namespaces de producción.
Paso 2: leer la configuración efectiva
export DT_ENV="https://abc12345.live.dynatrace.com"
curl -s -H "Authorization: Api-Token $DT_TOKEN" \
"$DT_ENV/api/v2/settings/objects?schemaIds=builtin:anomaly-detection.kubernetes.workload&scopes=environment&fields=objectId,scope,value" \
| jq '.items[] | {objectId, scope, pendingPods: .value.pendingPods, jobFailureEvents: .value.jobFailureEvents}'
El scope environment da el valor por defecto. Sustitúyelo por el identificador de un clúster (KUBERNETES_CLUSTER-…) o de un namespace (CLOUD_APPLICATION_NAMESPACE-…) para ver una sobrescritura local. Prevalece el ajuste más específico.
Paso 3: ajustar un umbral con la API
Todas las propiedades del esquema son obligatorias: no se envía un objeto parcial. El método seguro consiste en recuperar el objeto, modificar un valor con jq y volver a enviarlo.
OBJ=$(curl -s -H "Authorization: Api-Token $DT_TOKEN" \
"$DT_ENV/api/v2/settings/objects?schemaIds=builtin:anomaly-detection.kubernetes.workload&scopes=environment" \
| jq -r '.items[0].objectId')
curl -s -H "Authorization: Api-Token $DT_TOKEN" \
"$DT_ENV/api/v2/settings/objects/$OBJ" \
| jq '{value: (.value | .jobFailureEvents.enabled = false)}' > workload.json
curl -s -X PUT -H "Authorization: Api-Token $DT_TOKEN" \
-H "Content-Type: application/json" \
-d @workload.json \
"$DT_ENV/api/v2/settings/objects/$OBJ"
Para ajustar la ventana de los reinicios, inspecciona primero .value.containerRestarts.configuration: los nombres de los campos de cada configuración los da el esquema (GET /api/v2/settings/schemas/builtin:anomaly-detection.kubernetes.workload). No adivines el nombre de una propiedad: el PUT sería rechazado.
Para una sobrescritura en un solo namespace, haz un POST /api/v2/settings/objects con "scope": "CLOUD_APPLICATION_NAMESPACE-…" y un value completo, copiado del valor por defecto y modificado después.
Paso 4: la interfaz, para ajustes puntuales
En Settings > Anomaly detection, las entradas de Kubernetes (clúster, nodo, namespace, workload) ofrecen las mismas opciones. A nivel de un clúster o de un namespace, los ajustes también se abren desde la página de la entidad. Para una flota de clústeres, es preferible la API o la configuración como código: un ajuste hecho a mano con clics se desvía enseguida.
Cómo comprobar que funciona
- En un namespace de prueba, aplica una cuota de pods baja y aumenta después el número de réplicas por encima de ella:
kubectl create namespace alert-test
kubectl -n alert-test create quota pods-max --hard=pods=3
kubectl -n alert-test create deployment web --image=nginx --replicas=3
kubectl -n alert-test scale deployment web --replicas=5
- Pasado el periodo de observación configurado, busca el evento en un Notebook:
fetch dt.davis.events
| filter event.status == "ACTIVE"
| fields event.start, event.name, event.category
| sort event.start desc
| limit 20
- Comprueba que la notificación llega al destinatario correcto. Si no, el problema está en el perfil de alertas, no en la detección: consulta perfiles de alertas e integraciones.
- Limpia:
kubectl delete namespace alert-test.
Buenas prácticas
- Una alerta, un runbook: si nadie sabe qué hacer cuando suena, no tiene sitio en la guardia.
- Valores por defecto en el clúster, excepciones en el namespace: mantén la configuración legible.
- Ventanas largas para los síntomas ruidosos (reinicios, throttling); cortas para las caídas francas (ningún pod listo).
- Revisión mensual: cuenta las alertas sin acción. El método se describe en reducir el ruido de las alertas de Davis.
- Solicitudes realistas: las alertas de saturación se basan en las solicitudes declaradas; unas solicitudes falsas dan alertas falsas (consulta solicitudes de CPU efectivas).
- Referencia: esquema de las detecciones de workload.
Preguntas frecuentes
¿Hay que duplicar estas alertas de Kubernetes en Prometheus?
No, salvo necesidad concreta. Duplicar las reglas duplica las notificaciones. Si mantienes Alertmanager, reparte con claridad: una fuente por tipo de alerta.
¿Por qué una alerta aparece solo después de varios minutos?
Es la ventana «durante al menos X minutos en los últimos Y». Filtra los picos pasajeros. Acórtala solo para caídas francas.
¿Los ajustes son los mismos en Managed?
Sí, los esquemas los expone la API Settings v2 en las dos ofertas. Comprueba solamente que la versión de tu clúster ofrece cada propiedad citada.
Conclusión
Las buenas alertas de Kubernetes son pocas: nodo no listo, workload sin pod listo, despliegue bloqueado, OOM kills repetidos, cuotas saturadas. Ajusta sus ventanas, codifícalas con la API y pruébalas con una cuota deliberadamente baja. La guardia recupera una señal fiable.
span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de Dynatrace LLC. Los nombres de ajustes y de propiedades evolucionan: compruébalos en la documentación oficial de tu versión. Comprueba siempre los valores (puertos, versiones, tamaños) en la documentación oficial correspondiente a tu versión.