Módulo 6: logs OpenPipeline, de la ingesta al análisis en Grail

Logs OpenPipeline en Dynatrace SaaS: explorar los logs en Grail, parsearlos en la ingesta, extraer métricas y reducir el volumen almacenado.
Module 6 : logs OpenPipeline, de l'ingestion à l'analyse dans Grail

Ruta de aprendizaje: Dynatrace SaaS · Módulo 6/8: logs OpenPipeline · Duración: ~75 min · Nivel: intermedio

Objetivos:

  • Identificar los caminos por los que los logs llegan a Grail.
  • Explorar y analizar logs con la aplicación Logs y DQL.
  • Entender las etapas de OpenPipeline: enrutado, procesamiento, extracción, almacenamiento.
  • Crear un pipeline que estructure un log y extraiga una métrica de él.

Requisitos previos: módulos 2 (OneAgent), 3 (DQL) y 5 (Davis) de la ruta; un entorno de prueba que ya reciba algunos logs.

Este módulo de formación trata de los logs y OpenPipeline en Dynatrace SaaS: cómo entran los logs en la plataforma, cómo hacerlos aprovechables antes incluso de almacenarlos y cómo consultarlos después en Grail. Los logs suelen ser la fuente más voluminosa y desordenada de un entorno; tratarlos bien a la entrada cambia tanto la calidad de los análisis como la factura.

Si vienes de Managed, olvida la idea de un almacenamiento de logs aparte: en SaaS, los logs viven en Grail junto a las trazas, las métricas y los eventos, y se consultan con el mismo lenguaje.

¿De dónde vienen los logs?

Tres grandes familias de fuentes alimentan Grail:

Fuente Principio Caso típico
OneAgent El módulo de logs descubre los archivos y flujos de los procesos monitorizados; unas reglas de ingesta deciden qué se envía. Hosts y clústeres de Kubernetes ya instrumentados.
API y OTLP Los logs se envían en JSON o en formato OpenTelemetry a la API de ingesta, a menudo a través de un ActiveGate. Aplicaciones instrumentadas con OpenTelemetry, colectores existentes.
Integraciones Extensiones e integraciones cloud o de terceros (Fluent Bit, servicios cloud, etc.). Servicios gestionados donde no se puede poner un agente.

Sea cual sea el camino, cada registro llega con atributos: marca de tiempo, contenido, nivel y, según la fuente, el host, el pod, el namespace o el servicio asociados. Estos atributos de contexto dan todo su valor a los logs en Dynatrace, porque permiten saltar de una línea de log a la entidad, la traza o el problema de Davis correspondiente.

Explorar los logs en Grail

La aplicación Logs ofrece una exploración filtrada, práctica para un primer vistazo. Para un análisis reproducible, usa DQL en un Notebook:

fetch logs, from:now()-1h
| filter loglevel == "ERROR"
| summarize nb = count(), by:{k8s.namespace.name, log.source}
| sort nb desc
| limit 20

Para buscar un patrón en el contenido:

fetch logs, from:now()-30m
| filter contains(content, "timeout")
| fields timestamp, dt.entity.host, content
| sort timestamp desc

Los campos disponibles dependen de la fuente: un log de Kubernetes lleva atributos k8s.*, uno de un host clásico no. Empieza siempre con un limit 10 para ver qué contienen realmente tus registros. El artículo análisis de patrones de logs muestra cómo pasar de una masa de líneas a unos pocos patrones recurrentes.

Logs OpenPipeline: procesar antes de almacenar

OpenPipeline es la capa de procesamiento de los datos entrantes de la plataforma. En lugar de almacenar los logs en bruto y trocearlos en cada consulta, los estructuras una sola vez, en la ingesta. El flujo se describe así:

Etapa Papel Ejemplo
Fuente de ingesta Punto de entrada de los datos (OneAgent, API, OTLP…). Los logs enviados por OneAgent.
Enrutado Una condición dirige cada registro hacia un pipeline. Todo lo que viene del namespace paiement va al pipeline «paiement».
Procesamiento Parsing, adición, renombrado o eliminación de campos, enmascaramiento, filtrado. Extraer un código HTTP y una duración del contenido; enmascarar una dirección de correo.
Extracción Crear otros datos a partir de los logs. Una métrica de número de errores, un evento, un evento de negocio.
Almacenamiento y permisos Elegir el bucket de Grail (y por tanto la retención) y el contexto de seguridad. Logs de debug en un bucket de retención corta.

El parsing con DQL

Los procesadores de procesamiento se escriben con la sintaxis DQL que ya conoces. Supongamos un log de aplicación con la forma order=4521 status=500 duration=812ms. Un procesador puede extraer de él campos tipados:

parse content, "LD 'status=' INT:http.status LD 'duration=' INT:duration.ms"

Prueba siempre un procesador con una muestra de logs reales, directamente en el editor de pipelines o en un Notebook con el mismo comando parse, antes de activarlo. Un patrón que no coincide deja simplemente los campos vacíos: el error es silencioso.

Extraer métricas

Contar errores a partir de los logs cada vez que se muestra un dashboard es costoso. Una métrica extraída por OpenPipeline se calcula una vez, en la ingesta, y luego se consulta con timeseries como cualquier otra métrica. Puede alimentar un dashboard del módulo 4 o una detección de anomalías del módulo 5. El artículo métricas de histogramas en la ingesta lleva la idea hasta los SLO de latencia.

Controlar el volumen

Filtrar los logs inútiles (health checks, debug en producción) desde la entrada y dirigirlos a buckets con una retención adecuada son las dos palancas más eficaces sobre los costes. Documenta cada regla de exclusión: un log eliminado en la ingesta no se podrá recuperar durante un incidente.

Ejercicio práctico

Paso 1: inventariar tus logs

En un Notebook, cuenta los logs de la última hora por log.source y por loglevel. Resultado esperado: una tabla que muestra las tres fuentes más habladoras.

Paso 2: elegir un formato que estructurar

Localiza una fuente cuyo contenido incluya pares clave=valor o un formato estable. Copia tres líneas representativas. Resultado esperado: una muestra con la que probar el parsing.

Paso 3: probar el parsing

En el Notebook, aplica un comando parse a la fuente elegida hasta obtener los campos esperados. Resultado esperado: columnas tipadas (entero, cadena) rellenas en cada línea.

Paso 4: crear el pipeline

En la aplicación OpenPipeline, sección de logs, crea un pipeline con este procesador, una extracción de métrica (por ejemplo el número de líneas con un estado mayor o igual que 500) y una ruta que dirija a él únicamente la fuente elegida. Resultado esperado: los nuevos logs llegan con los campos extraídos.

Paso 5: verificar

Pasados unos minutos, consulta los logs de la fuente y la métrica creada con timeseries. Resultado esperado: valores coherentes con el número de errores observado en los logs.

Cuestionario

  1. ¿En qué momento procesa OpenPipeline los logs?
    A. En cada consulta DQL · B. En la ingesta, antes del almacenamiento · C. Una vez al día · D. Solo durante un problema de Davis
  2. ¿Qué etapa decide a qué pipeline va un registro?
    A. El almacenamiento · B. El enrutado · C. La extracción · D. El enmascaramiento
  3. ¿Por qué extraer una métrica en lugar de contar los logs cada vez que se muestra un dashboard?
    A. Para perder los logs originales · B. El cálculo se hace una vez y la consulta es más ligera · C. Porque DQL no sabe contar · D. Nunca es útil
  4. ¿Qué ocurre si un patrón de parse no coincide con el contenido?
    A. El log se rechaza · B. Los campos extraídos quedan vacíos · C. El pipeline se detiene · D. Davis abre un problema

Soluciones

  1. B: OpenPipeline actúa sobre el flujo entrante, lo que evita volver a hacer el parsing en cada consulta.
  2. B: una condición de enrutado dirige cada registro al pipeline adecuado.
  3. B: la métrica se calcula en la ingesta y después se consulta a menor coste.
  4. B: el fallo es silencioso, de ahí la importancia de probar con una muestra real.

Para ir más lejos

← Módulo 5: Davis y problemas · Índice de la ruta · Módulo 7: Workflows y automatización →

Preguntas frecuentes

¿Hay que pasar por OpenPipeline para almacenar logs?

Los logs se procesan con una configuración por defecto si no defines nada. Crear tus propios pipelines resulta útil en cuanto quieres estructurar, filtrar, enmascarar o extraer métricas.

¿Se pueden parsear los logs en el momento de la consulta en lugar de en la ingesta?

Sí, el comando parse también funciona en una consulta DQL. Es ideal para explorar; para un campo que se usa a diario, el parsing en la ingesta es más eficaz.

¿Cómo evitar almacenar datos personales en los logs?

El procesamiento de OpenPipeline permite enmascarar o eliminar campos antes del almacenamiento. Combínalo con una revisión de los logs de aplicación en origen: el mejor enmascaramiento sigue siendo no escribir el dato.

Los logs bien estructurados se convierten en una fuente de métricas, alertas e investigaciones rápidas. En el módulo siguiente usarás esas señales para desencadenar acciones automáticas con los Workflows.

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de Dynatrace LLC. Esta ruta no sustituye a las formaciones y certificaciones oficiales de Dynatrace University. Comprueba las funcionalidades en la documentación oficial correspondiente a tu versión.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Module 5 : Davis, problèmes, analyse des causes et notifications

Módulo 5: Davis y problemas, análisis de causa raíz y notificaciones

Next Post
Module 7 : Workflows, automatisation des opérations

Módulo 7: Workflows y automatización de las operaciones

Related Posts