Análisis de patrones de logs: de la masa en bruto a consultas DQL reutilizables

Análisis de patrones de logs en Dynatrace: agrupa millones de líneas en patrones y obtén consultas DQL, dashboards y procesadores reutilizables.
Analyse de patterns logs : de la masse brute aux requêtes DQL réutilisables

Todo ingeniero de guardia (on-call) conoce ese momento: salta una alerta, abres los logs del servicio afectado y la pantalla se llena de decenas de miles de líneas casi idénticas. Solo cambian una marca de tiempo, un identificador de petición, una dirección IP. El reflejo habitual consiste en apilar filtros, probar búsquedas de texto completo y, por fin, escribir a mano una expresión regular o un parse para poder contar algo. Es lento y, sobre todo, frágil cuando descubres la fuente a la vez que el incidente. Ahí es donde el análisis de patrones de logs cambia la forma de abordar el problema.

El análisis de patrones de logs, disponible en preview en la aplicación Logs de Dynatrace SaaS, aborda el problema al revés. En lugar de buscar una aguja, le pides a la plataforma que agrupe el pajar: las líneas que comparten la misma estructura se fusionan en un único patrón, y las partes que varían se aíslan en forma de tokens tipados. Unas pocas decenas de patrones sustituyen a cientos de miles de registros.

Este artículo explica qué hace realmente la funcionalidad, en qué situaciones ahorra tiempo y, sobre todo, cómo convertir un patrón descubierto en algo duradero: una consulta DQL, un procesador de OpenPipeline o un tile de dashboard.

Qué hace el análisis de patrones de logs

El principio se parece a lo que llevan tiempo haciendo algunas herramientas de «log clustering», pero aquí se ejecuta en el momento de la consulta, directamente sobre los datos almacenados en Grail. El análisis examina el contenido de cada mensaje, separa el texto estático de los valores dinámicos y sustituye estos últimos por un token. Las líneas que comparten el mismo esqueleto caen en el mismo grupo, con un contador de ocurrencias y una tendencia a lo largo del tiempo.

Lo interesante es que cada token está tipado. Dynatrace distingue, entre otros, marcas de tiempo, direcciones IP, números y texto libre. En concreto, mil líneas «conexión rechazada para el usuario X desde la dirección Y» dispersas en un conjunto de cien mil logs se convierten en un único patrón contado mil veces, cuyos valores de X e Y puedes explorar después.

Los resultados se ordenan por severidad y luego por frecuencia. Puedes restringir el ámbito de varias maneras:

  • aplicar un segmento preparado por los expertos de un dominio (por ejemplo, «logs de la plataforma de pagos»);
  • añadir filtros ad hoc para una exploración puntual;
  • elegir una ventana temporal que va de unos minutos a varios días o semanas.

Por qué es distinto de una búsqueda clásica

Una búsqueda de texto completo supone que sabes qué buscar. Una agregación DQL supone que los campos ya existen, es decir, que alguien ha escrito el parsing. El análisis de patrones no presupone ni lo uno ni lo otro: revela la forma de los datos antes de que hayas formulado una hipótesis. Es justo lo que falta al comienzo de una investigación.

También reequilibra la relación entre frecuencia e importancia. En una lista en bruto, el mensaje más charlatán aplasta todo lo demás. Una vez condensadas las líneas, un grupo de veinte ocurrencias aparecido anoche resulta tan visible como un grupo de un millón de líneas ordinarias. Las señales raras, nuevas o cambiantes salen a la superficie de forma mecánica.

Cuatro situaciones en las que la herramienta se amortiza

Un pico de errores que calificar

La tasa de fallos de un servicio sube. En lugar de desplazarte por los mensajes, lanza el análisis sobre la ventana del pico. En unos segundos sabrás si una sola familia de errores explica el aumento, si ha aparecido un patrón inédito justo antes y por cuál empezar.

La señal débil ahogada en el ruido

Una aplicación parece sana porque la inmensa mayoría de sus logs corresponde a los mensajes habituales. Un pequeño grupo de timeouts intermitentes hacia una API externa pasa inadvertido. Reducido a un puñado de patrones, ese grupo salta a la vista.

Los logs de acceso de gran volumen

En los registros de acceso web o de API, casi todas las líneas son respuestas 200. El análisis separa esas peticiones ordinarias de los casos atípicos: códigos de estado inusuales, endpoints inesperados, fallos de autenticación repetidos. Al desplegar un patrón ves la distribución de las direcciones IP implicadas, lo que permite, por ejemplo, detectar un intento de fuerza bruta contra una base de datos.

Una fuente desconocida que integrar

Aplicación nueva, software de terceros cuyos mensajes nadie entiende de verdad: la primera pregunta es «¿qué contiene esta fuente?». Los patrones responden indicando los tipos de eventos que produce, los campos que varían, su frecuencia y cuáles merecerían un parsing o un enriquecimiento.

En la práctica

Paso 1: acotar el análisis

Abre la aplicación Logs, aplica un segmento o un filtro sobre el servicio o el host afectado y elige una ventana temporal coherente con tu pregunta. Para un incidente, encuadra el inicio del problema con un margen previo; para la integración de una fuente, toma varios días a fin de captar los mensajes raros.

Paso 2: lanzar el análisis y leer los resultados

Lanza el análisis de patrones. Empieza por los patrones de severidad alta y compara después sus tendencias: un patrón que arranca justo en el momento del incidente es mejor sospechoso que un patrón voluminoso pero estable.

Paso 3: explorar los tokens

Despliega el patrón elegido y examina la distribución de sus tokens. La pregunta pasa a ser «¿qué host, qué identificador, qué código cuenta de verdad?». Si una sola dirección IP concentra la mayor parte de las ocurrencias, la investigación cambia de naturaleza.

Paso 4: recuperar la consulta generada

Para un patrón interesante, la aplicación genera una consulta DQL que contiene una instrucción de parsing en Dynatrace Pattern Language (DPL). El resultado se parece a esto (ejemplo simplificado, que debes adaptar al patrón real):

fetch logs
| filter matchesPhrase(content, "authentication failed")
| parse content, "LD 'user=' WORD:user LD 'from ' IPADDR:client_ip"
| summarize tentatives = count(), by:{client_ip, user}
| sort tentatives desc
| limit 20

Ahora dispones de campos con nombre (user, client_ip) sobre los que agregar, filtrar o trazar una serie temporal.

Paso 5: industrializar

El mismo patrón DPL se puede usar en cualquier lugar donde se use DQL: Notebooks, Dashboards, Workflows y, sobre todo, procesadores de OpenPipeline. En este último caso, el parsing se hace en la ingesta y los campos extraídos quedan disponibles para todas las consultas posteriores, sin recalcular. Para un seguimiento en el tiempo, un tile de dashboard puede apoyarse en una consulta como esta:

fetch logs
| parse content, "LD 'from ' IPADDR:client_ip"
| filter isNotNull(client_ip)
| makeTimeseries echecs = count(), by:{client_ip}

Buenas prácticas

  • Partir de un ámbito estrecho: un segmento o un filtro por servicio da patrones más legibles que un análisis sobre todos los logs del entorno.
  • Releer el DPL generado antes de promoverlo a OpenPipeline: un patrón demasiado genérico puede capturar líneas que no tienen nada que ver; uno demasiado estricto se dejará algunas.
  • Parsear en la ingesta lo que se usa a menudo: si una consulta basada en un patrón se ejecuta en varios dashboards, traslada el parsing a OpenPipeline en lugar de recalcularlo en cada visualización.
  • Compartir mediante segmentos: un segmento bien definido por el equipo propietario de un dominio hace el análisis reproducible para todos.
  • Vigilar la aparición de patrones nuevos tras un despliegue: suele ser el primer indicio de una regresión.

Disponibilidad y límites

En el momento de la publicación, la funcionalidad está en preview para los clientes de Dynatrace SaaS que disponen de Grail y del modelo de licencia DPS, con inscripción previa en el programa. Como en toda preview, el comportamiento y la interfaz pueden cambiar: consulta la documentación del producto para ver las opciones de filtrado actualizadas. Ten en cuenta también que el análisis se basa en la estructura textual de los mensajes: los logs ya muy estructurados en JSON se beneficiarán más de un parsing JSON clásico.

Preguntas frecuentes

¿Hay que seguir escribiendo expresiones regulares?

Menos a menudo. Para un patrón interesante, la propia aplicación genera una consulta DQL con la instrucción de parsing DPL correspondiente. Solo hay que releerla y ajustarla antes de reutilizarla en un dashboard o en un procesador de OpenPipeline.

¿Quién puede usar hoy el análisis de patrones?

En el momento de la publicación, la funcionalidad está en preview para los clientes de Dynatrace SaaS que disponen de Grail y del modelo de licencia DPS, tras inscribirse en el programa. Consulta la documentación del producto para conocer el estado actual.

¿Sirve el análisis con logs ya estructurados en JSON?

Se basa en la estructura textual de los mensajes: para logs ya muy estructurados en JSON, un parsing JSON clásico suele ser más adecuado. El análisis cobra todo su sentido con los mensajes en texto libre.

Conclusión

El análisis de patrones no sustituye a DQL, le sirve de rampa de acceso. Acorta la fase más ingrata de una investigación, aquella en la que se descubre la forma de los datos, y produce de paso el parsing que habría que haber escrito a mano. Para un equipo principiante, es una puerta de entrada al análisis estructurado de logs; para un usuario experto, son tantos patrones DPL que ya no tendrá que redactar. Una vez dominadas las fuentes, queda comprobar que siguen llegando: es el objeto del seguimiento de la ingesta de logs.

Para profundizar: From millions of log lines to actionable patterns in seconds with log pattern analysis (blog de Dynatrace, en inglés).

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de Dynatrace LLC. Las funcionalidades de SaaS evolucionan rápido: comprueba su disponibilidad en tu entorno y en la documentación oficial. Comprueba siempre los valores (puertos, versiones, tamaños) en la documentación oficial correspondiente a tu versión.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Session Replay sur Grail : revoir ce que l'utilisateur a vécu, avec les traces et les logs à côté

Session Replay en Grail: revisa lo que vivió el usuario, con las trazas y los logs al lado

Next Post
Dynatrace MCP + Microsoft Teams : un agent Copilot Studio branché sur le serveur MCP

Dynatrace MCP + Microsoft Teams: un agente de Copilot Studio conectado al servidor MCP

Related Posts