Resolución de problemas del clúster Managed: incidentes habituales y soluciones

Resolución de problemas del clúster Managed: disco lleno, nodo inaccesible, OneAgent mudos, actualización bloqueada. Un método de diagnóstico y soluciones.
Dépannage cluster Managed : les incidents courants et leurs solutions

Son las 8:30 y un responsable de aplicación avisa de que sus gráficos se detienen a las 3:00 de la madrugada. O la CMC muestra un nodo en rojo tras un reinicio del hipervisor. O una nueva oleada de servidores instalados el día anterior no aparece en ninguna parte. Todo administrador de Dynatrace Managed acaba viviendo estas situaciones, a menudo en el peor momento. Ahí es donde una resolución de problemas del clúster Managed metódica marca la diferencia frente a una serie de reinicios al azar.

La dificultad propia de Managed está en la multiplicidad de capas: el sistema operativo de los nodos, los componentes internos (servidor, Cassandra, Elasticsearch, almacenamiento de transacciones), la red entre nodos, los ActiveGate, los OneAgent y, a veces, la conexión a Mission Control. Un mismo síntoma puede tener causas muy distintas según la capa que falle.

Este artículo propone un método de diagnóstico sistemático y después repasa los incidentes más frecuentes con sus comprobaciones y soluciones. No sustituye al soporte de Dynatrace: te ayuda a llegar ante él con un diagnóstico ya avanzado.

Resolución de problemas del clúster Managed: un método antes que recetas

  1. Acotar el perímetro: ¿un entorno o todos? ¿Un nodo o todo el clúster? ¿Una población de agentes o todos?
  2. Datar el inicio: correlacionar con los cambios recientes (actualización, parche del SO, modificación de red, renovación de certificado).
  3. Bajar por las capas: red, sistema, servicios, componentes de Dynatrace, agentes.
  4. Recoger antes de actuar: logs, salidas de comandos, capturas de la CMC. Un reinicio suele borrar las pistas.
  5. Un cambio cada vez, y comprobar el efecto antes del siguiente.

Tutorial paso a paso

Paso 1 — Hacer el inventario del estado del clúster

Empieza por la CMC: estado de cada nodo, eventos recientes, alertas de salud. Complétalo con la API de Cluster, útil si la interfaz va lenta:

curl -s -w "\nHTTP %{http_code}\n" -H "Authorization: Api-Token {token}" \
  "https://{votre-domaine}/api/v1.0/onpremise/cluster"

Después, en cada nodo:

df -h /opt/dynatrace-managed /var/opt/dynatrace-managed
free -h; uptime
systemctl --failed
journalctl -p err --since "6 hours ago" | tail -100

Paso 2 — Incidente: disco de datos lleno

Síntomas: gráficos interrumpidos, datos rechazados, componentes en error, alertas de almacenamiento en la CMC.

Diagnóstico:

df -h /var/opt/dynatrace-managed
du -xh --max-depth=2 /var/opt/dynatrace-managed 2>/dev/null | sort -h | tail -15
find /var/opt/dynatrace-managed -name "*.log" -size +500M 2>/dev/null

Soluciones: nunca borres manualmente archivos de datos de Cassandra o Elasticsearch, corromperías el almacenamiento. Actúa más bien sobre la capacidad (ampliación del volumen, preferiblemente en caliente mediante LVM) o sobre la volumetría (reducción de las retenciones en la CMC, revisión de las cuotas de entorno). Solo pueden limpiarse los archivos claramente ajenos al almacenamiento, como archivos temporales o instaladores antiguos. Si la situación es crítica, contacta con el soporte antes de cualquier operación.

Paso 3 — Incidente: nodo inaccesible o en error

Síntomas: nodo señalado como fuera de línea, interfaz lenta, alertas de replicación.

Diagnóstico: prueba la conectividad entre nodos en los puertos internos del clúster (en particular 5701-5711 y 8018 para Hazelcast y Nodekeeper, 7000, 7001 y 9042 para Cassandra, 9200 y 9300 para Elasticsearch, 8443 para los datos de los OneAgent) y después la resolución de nombres y la sincronización horaria, que a menudo se olvida:

ping -c 3 {ip-autre-noeud}
nc -vz {ip-autre-noeud} {port-interne}
timedatectl status
chronyc tracking 2>/dev/null || ntpq -p

Soluciones: restablece el flujo de red o el reloj y deja que el nodo se resincronice. Si un servicio sigue detenido, consulta sus logs en /var/opt/dynatrace-managed/log/ (por ejemplo cassandra/ o elasticsearch/) antes de relanzarlo con los scripts de /opt/dynatrace-managed/launcher/ (cassandra.sh start, elasticsearch.sh start…). Evita reiniciar varios nodos a la vez: la documentación recomienda tratar los nodos de uno en uno, ya que el clúster (Cassandra en particular) necesita un quórum para mantenerse coherente.

Paso 4 — Incidente: unos OneAgent dejan de reportar

Síntomas: hosts ausentes o en gris, servidores nuevos invisibles.

Diagnóstico en el host:

systemctl status oneagent
sudo /opt/dynatrace/oneagent/agent/tools/oneagentctl --get-server
sudo /opt/dynatrace/oneagent/agent/tools/oneagentctl --get-tenant
curl -sv -o /dev/null https://{adresse-activegate}:9999/ 2>&1 | grep -E "Connected|SSL|HTTP"

Causas frecuentes: firewall entre el host y el ActiveGate o el clúster, certificado renovado no reconocido, identificador de entorno erróneo en la instalación, zona de red (--set-network-zone=) sin ActiveGate disponible o cuota de unidades de host del entorno alcanzada. Este último caso se comprueba directamente en la CMC, en los ajustes del entorno.

Paso 5 — Incidente: ActiveGate desconectado

Un ActiveGate fuera de servicio puede cortar de golpe toda una zona de red. Comprueba el servicio y sus logs:

systemctl status dynatracegateway
journalctl -u dynatracegateway --since "2 hours ago" | tail -50
ss -tlnp | grep 9999

En Linux, el servicio se llama dynatracegateway (systemctl restart dynatracegateway para relanzarlo). Controla el espacio en disco, la memoria y la conectividad del ActiveGate hacia el clúster. Para las zonas críticas, despliega al menos dos ActiveGate para evitar el punto único de fallo.

Paso 6 — Incidente: actualización bloqueada o fallida

Prevención: antes de cualquier actualización, comprueba el estado de todos los nodos, el espacio en disco (una actualización necesita espacio para descomprimir sus archivos) y que la última copia de seguridad terminó con éxito. En modo offline, asegúrate de usar el paquete dynatrace-managed-{version}.sh correcto y la secuencia de versiones adecuada.

En caso de fallo: conserva los logs del instalador, no encadenes reintentos y abre un ticket al soporte con la versión de origen, la versión de destino y los logs.

Paso 7 — Incidente: interfaz lenta

A menudo es síntoma de una sobrecarga: memoria saturada, compactaciones de Cassandra con retraso, consultas de dashboards muy amplias. Comprueba la carga de los nodos, identifica los dashboards que cubren periodos muy largos sobre muchas entidades y plantéate añadir un nodo si la saturación es estructural.

Paso 8 — Preparar el expediente para el soporte

Reúne: versión de Managed, número de nodos, cronología, acciones ya intentadas, salidas de los comandos anteriores y el archivo de diagnóstico descargado desde la CMC (que agrupa, entre otros, los logs del servidor, de los demás componentes y los errores de NGINX). Si el clúster está conectado a Mission Control, el soporte puede disponer de información adicional.

Buenas prácticas

  • No toques nunca a mano los archivos de almacenamiento (Cassandra, Elasticsearch).
  • Recoger antes de reiniciar: los logs y el estado son tus mejores pistas.
  • Un nodo cada vez para los reinicios y los mantenimientos.
  • Sincronización horaria vigilada en todos los nodos y ActiveGate.
  • Runbooks escritos para cada incidente ya encontrado, enriquecidos tras cada post-mortem.
  • Prevención: una buena supervisión de la salud del clúster evita la mayoría de estos incidentes.

Preguntas frecuentes

¿Se pueden borrar archivos para liberar el disco de datos?

Nunca los de Cassandra o Elasticsearch: corromperías el almacenamiento. Actúa sobre la capacidad (ampliación del volumen) o sobre la volumetría (retenciones, cuotas) y limpia solo los archivos claramente ajenos al almacenamiento, como archivos temporales o instaladores antiguos.

¿Por qué no reiniciar todos los nodos a la vez?

El clúster necesita un quórum para mantenerse coherente. Reinicia un nodo cada vez, después de recoger logs y estado, y comprueba que se ha resincronizado antes de pasar al siguiente.

Unos hosts ya no aparecen: ¿por dónde empezar?

En el host, comprueba el servicio oneagent, después el servidor y el entorno configurados con oneagentctl y después la conectividad hacia el ActiveGate. En la CMC, verifica que no se haya alcanzado la cuota de unidades de host del entorno.

Conclusión

La mayoría de los incidentes en un clúster Managed se reducen a unas pocas familias: almacenamiento saturado, red o reloj entre nodos, conectividad de agentes y ActiveGate, actualizaciones mal preparadas. Con un método riguroso (acotar, datar, bajar por las capas, recoger antes de actuar) y comandos estándar de Linux, resuelves por tu cuenta buena parte de ellos y conviertes los demás en tickets de soporte rápidos y precisos.

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de Dynatrace LLC. Comprueba siempre los valores (puertos, versiones, tamaños) en la documentación oficial correspondiente a tu versión de Managed.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Surveiller la santé de son cluster Managed

Monitorización de la salud del clúster Dynatrace Managed

Next Post
Requêtes CPU effectives des pods Kubernetes : le chiffre que kubectl ne montre pas

Requests de CPU efectivas de los pods de Kubernetes: la cifra que kubectl no muestra

Related Posts