Un despliegue llega a producción y, unos minutos después, kubectl get pods muestra el mismo estado en varias réplicas: CrashLoopBackOff. Justo encima, un campo de último estado indica OOMKilled. La pareja CrashLoopBackOff OOMKilled es uno de los incidentes de Kubernetes más frecuentes y uno de los peor diagnosticados: se sube el límite de memoria y el problema vuelve la semana siguiente.
Cada reinicio corta peticiones en curso, vacía las cachés y consume el presupuesto de error del servicio. El tiempo de back-off crece con cada fallo: cuanto más se tarda, más se reduce la capacidad disponible. Un diagnóstico metódico reduce el MTTR y evita convertir una fuga de memoria en un simple ajuste de YAML.
Objetivo de este tutorial: distinguir las causas de un CrashLoopBackOff, confirmar un OOMKilled y usar Dynatrace para encontrar los workloads afectados, comparar consumo y límites, y alertar antes de la caída. Las consultas DQL valen para Dynatrace SaaS (Grail, aplicación Kubernetes). En Dynatrace Managed, el mismo método pasa por las páginas clásicas de Kubernetes y el explorador de datos.
CrashLoopBackOff y OOMKilled: dos señales distintas
CrashLoopBackOff no es una causa: es el estado de espera de un contenedor que el kubelet reinicia tras fallos sucesivos, con un retardo creciente. La causa está en otra parte. OOMKilled es una de ellas: el kernel mató el proceso porque el contenedor superó su límite de memoria (código de salida 137).
| Motivo de la última parada | Código de salida | Pista |
|---|---|---|
OOMKilled |
137 | Límite de memoria demasiado bajo, fuga de memoria, pico de carga |
Error |
1 u otro | Excepción al arrancar, configuración o secreto ausente |
Completed |
0 | Proceso que termina cuando debería seguir en marcha |
| Fallo de la sonda de liveness | 137 o 143 | Sonda demasiado agresiva, arranque lento |
El código 137 por sí solo no basta: un contenedor matado por una sonda de liveness también recibe una señal. Solo el motivo OOMKilled confirma el exceso de memoria.
Requisitos previos
kubectlcon acceso de lectura al namespace afectado.- El clúster monitorizado por Dynatrace Operator (consulta Conectar Dynatrace Operator a un clúster), con la monitorización de Kubernetes activada.
- En SaaS: acceso a Notebooks y a la aplicación Kubernetes. En Managed: acceso a las pantallas de Kubernetes y al explorador de datos.
Diagnosticar un pod CrashLoopBackOff OOMKilled paso a paso
Paso 1: leer el estado del contenedor
kubectl get pods -n boutique
kubectl describe pod paiement-7d9c6b5f8-x2kq4 -n boutique
En la salida de describe, busca el bloque Last State del contenedor: Reason: OOMKilled y Exit Code: 137 confirman la hipótesis de memoria. Anota también Restart Count y la sección Limits. Para ir directo al grano:
kubectl get pod paiement-7d9c6b5f8-x2kq4 -n boutique \
-o jsonpath='{.status.containerStatuses[*].lastState.terminated.reason}'
Paso 2: leer los logs de la ejecución anterior
El contenedor actual acaba de reiniciarse: sus logs están casi vacíos. Los que importan son los de la instancia que fue matada.
kubectl logs paiement-7d9c6b5f8-x2kq4 -n boutique --previous
Un OOMKilled rara vez deja un mensaje de error claro: el kernel mata el proceso sin previo aviso. En cambio, una excepción de arranque (variable ausente, conexión rechazada) aparece aquí y orienta hacia otra causa.
Paso 3: encontrar todos los workloads afectados con DQL
kubectl muestra un pod. Dynatrace muestra toda la flota. En un Notebook de SaaS, la métrica dt.kubernetes.container.oom_kills cuenta las paradas por exceso de memoria:
timeseries oom = sum(dt.kubernetes.container.oom_kills, rollup:sum),
by:{k8s.namespace.name, k8s.workload.name},
from:-7d
| fieldsAdd total = arraySum(oom)
| filter total > 0
| sort total desc
rollup:sum suma los eventos de cada intervalo; arraySum reduce la serie a un total por workload. Un workload aislado en cabeza de la lista apunta a un problema de la aplicación; varios workloads de un mismo nodo sugieren más bien presión sobre el nodo.
Paso 4: comparar consumo y límite
Superpón la memoria realmente utilizada (working set) y el límite configurado:
timeseries {
utilise = sum(dt.kubernetes.container.memory_working_set),
limite = sum(dt.kubernetes.container.limits_memory)
},
by:{k8s.workload.name},
filter: k8s.namespace.name == "boutique",
from:-24h
| fieldsAdd ratio = utilise[] / limite[] * 100
Fíjate en la forma de la curva, no solo en su máximo:
- subida regular hasta el límite y caída posterior: fuga de memoria. Aumentar el límite solo retrasa el próximo OOMKilled;
- meseta estable cerca del límite: límite infradimensionado para la carga normal;
- picos breves correlacionados con el tráfico: hay que revisar el dimensionamiento con la carga punta, o hay una caché sin límite.
Para el equivalente en CPU, el artículo Consultas de CPU efectiva de los pods de Kubernetes detalla la lógica de los recursos efectivos.
Paso 5: leer los eventos de Kubernetes
Los eventos de Kubernetes ingeridos en Grail dan la cronología (back-off, fallos de sonda, evicciones):
fetch events, from:-24h
| filter event.provider == "KUBERNETES_EVENT"
| summarize n = count(), by:{event.name}
| sort n desc
Añade después un filtro por namespace o por pod para reconstruir la secuencia del incidente. Los nombres exactos de los campos de los eventos pueden variar: muestra primero una fila sin procesar para localizarlos.
Paso 6: corregir y después proteger
Según el diagnóstico:
resources:
requests:
memory: "512Mi"
limits:
memory: "768Mi"
- Límite infradimensionado: ajusta
requestsylimitsa partir del working set observado en carga punta, con un margen. - Runtime gestionado (JVM, Node.js): alinea el tamaño del heap con el límite del contenedor; de lo contrario, el runtime cree disponer de toda la memoria del nodo.
- Fuga de memoria: abre un ticket para el equipo de la aplicación con la curva de Dynatrace adjunta. El perfilado de memoria de OneAgent, si está disponible para la tecnología, ayuda a localizar las asignaciones.
Cómo comprobar que funciona
kubectl get pods -n boutique -w: la columnaRESTARTSdebe dejar de aumentar tras desplegar la corrección.- La consulta del paso 3, relanzada sobre las últimas horas, ya no debe devolver el workload.
- El ratio del paso 4 se mantiene por debajo de un umbral cómodo (por ejemplo, 80 %) durante un pico de tráfico.
- En la aplicación Kubernetes (SaaS) o en la página del workload (Managed), el workload ya no presenta ningún problema de salud abierto.
Buenas prácticas
- Alerta sobre la tendencia, no sobre el incidente: una alerta sobre el ratio working set / límite por encima del 90 % avisa antes del primer OOMKilled. Mantenla escasa y accionable para no alimentar el ruido.
- Define siempre límites de memoria: un contenedor sin límite puede provocar presión de memoria en todo el nodo y hacer que se expulse a sus vecinos.
- Sondas realistas: un
startupProbeevita que una liveness demasiado estricta mate un servicio lento en arrancar, lo que se parece a un CrashLoopBackOff sin OOM. - Postmortem sin culpas: conserva las consultas DQL de la investigación en un Notebook compartido; la próxima guardia (on-call) ganará tiempo. Los patrones de logs ayudan a localizar los mensajes que preceden a la parada.
Preguntas frecuentes
¿Por qué el pod es OOMKilled si el nodo tiene memoria libre?
Porque el límite se aplica al contenedor, no al nodo. En cuanto el contenedor supera su propio límite, el kernel lo mata, aunque el nodo tenga varios gigabytes libres.
El estado CrashLoopBackOff desaparece y vuelve: ¿qué ocurre?
El kubelet reinicia el contenedor tras cada retardo de back-off. Mientras está en marcha, el estado pasa a Running. Fíjate en el contador de reinicios y en el motivo de la última parada, más que en el estado instantáneo.
¿Funcionan estas consultas en Dynatrace Managed?
No, la sintaxis DQL y Grail son propias de SaaS. En Managed, usa las páginas de Kubernetes del workload, el explorador de datos y los eventos que se muestran en la entidad pod.
Conclusión
Un CrashLoopBackOff OOMKilled se diagnostica en tres tiempos: confirmar el motivo con kubectl, medir la magnitud y la forma del consumo con Dynatrace y corregir la causa real. Añade una alerta de tendencia y la próxima caída será un ticket de dimensionamiento, no un despertar nocturno.
span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de Dynatrace LLC. Los nombres de métricas y de pantallas evolucionan: compruébalos en la documentación oficial y en la documentación de Kubernetes. Comprueba siempre los valores (puertos, versiones, tamaños) en la documentación oficial correspondiente a tu versión.