Ruta de aprendizaje: Dynatrace SaaS · Módulo 6/8: logs OpenPipeline · Duración: ~75 min · Nivel: intermedio
Objetivos:
- Identificar los caminos por los que los logs llegan a Grail.
- Explorar y analizar logs con la aplicación Logs y DQL.
- Entender las etapas de OpenPipeline: enrutado, procesamiento, extracción, almacenamiento.
- Crear un pipeline que estructure un log y extraiga una métrica de él.
Requisitos previos: módulos 2 (OneAgent), 3 (DQL) y 5 (Davis) de la ruta; un entorno de prueba que ya reciba algunos logs.
Este módulo de formación trata de los logs y OpenPipeline en Dynatrace SaaS: cómo entran los logs en la plataforma, cómo hacerlos aprovechables antes incluso de almacenarlos y cómo consultarlos después en Grail. Los logs suelen ser la fuente más voluminosa y desordenada de un entorno; tratarlos bien a la entrada cambia tanto la calidad de los análisis como la factura.
Si vienes de Managed, olvida la idea de un almacenamiento de logs aparte: en SaaS, los logs viven en Grail junto a las trazas, las métricas y los eventos, y se consultan con el mismo lenguaje.
¿De dónde vienen los logs?
Tres grandes familias de fuentes alimentan Grail:
| Fuente | Principio | Caso típico |
|---|---|---|
| OneAgent | El módulo de logs descubre los archivos y flujos de los procesos monitorizados; unas reglas de ingesta deciden qué se envía. | Hosts y clústeres de Kubernetes ya instrumentados. |
| API y OTLP | Los logs se envían en JSON o en formato OpenTelemetry a la API de ingesta, a menudo a través de un ActiveGate. | Aplicaciones instrumentadas con OpenTelemetry, colectores existentes. |
| Integraciones | Extensiones e integraciones cloud o de terceros (Fluent Bit, servicios cloud, etc.). | Servicios gestionados donde no se puede poner un agente. |
Sea cual sea el camino, cada registro llega con atributos: marca de tiempo, contenido, nivel y, según la fuente, el host, el pod, el namespace o el servicio asociados. Estos atributos de contexto dan todo su valor a los logs en Dynatrace, porque permiten saltar de una línea de log a la entidad, la traza o el problema de Davis correspondiente.
Explorar los logs en Grail
La aplicación Logs ofrece una exploración filtrada, práctica para un primer vistazo. Para un análisis reproducible, usa DQL en un Notebook:
fetch logs, from:now()-1h
| filter loglevel == "ERROR"
| summarize nb = count(), by:{k8s.namespace.name, log.source}
| sort nb desc
| limit 20
Para buscar un patrón en el contenido:
fetch logs, from:now()-30m
| filter contains(content, "timeout")
| fields timestamp, dt.entity.host, content
| sort timestamp desc
Los campos disponibles dependen de la fuente: un log de Kubernetes lleva atributos k8s.*, uno de un host clásico no. Empieza siempre con un limit 10 para ver qué contienen realmente tus registros. El artículo análisis de patrones de logs muestra cómo pasar de una masa de líneas a unos pocos patrones recurrentes.
Logs OpenPipeline: procesar antes de almacenar
OpenPipeline es la capa de procesamiento de los datos entrantes de la plataforma. En lugar de almacenar los logs en bruto y trocearlos en cada consulta, los estructuras una sola vez, en la ingesta. El flujo se describe así:
| Etapa | Papel | Ejemplo |
|---|---|---|
| Fuente de ingesta | Punto de entrada de los datos (OneAgent, API, OTLP…). | Los logs enviados por OneAgent. |
| Enrutado | Una condición dirige cada registro hacia un pipeline. | Todo lo que viene del namespace paiement va al pipeline «paiement». |
| Procesamiento | Parsing, adición, renombrado o eliminación de campos, enmascaramiento, filtrado. | Extraer un código HTTP y una duración del contenido; enmascarar una dirección de correo. |
| Extracción | Crear otros datos a partir de los logs. | Una métrica de número de errores, un evento, un evento de negocio. |
| Almacenamiento y permisos | Elegir el bucket de Grail (y por tanto la retención) y el contexto de seguridad. | Logs de debug en un bucket de retención corta. |
El parsing con DQL
Los procesadores de procesamiento se escriben con la sintaxis DQL que ya conoces. Supongamos un log de aplicación con la forma order=4521 status=500 duration=812ms. Un procesador puede extraer de él campos tipados:
parse content, "LD 'status=' INT:http.status LD 'duration=' INT:duration.ms"
Prueba siempre un procesador con una muestra de logs reales, directamente en el editor de pipelines o en un Notebook con el mismo comando parse, antes de activarlo. Un patrón que no coincide deja simplemente los campos vacíos: el error es silencioso.
Extraer métricas
Contar errores a partir de los logs cada vez que se muestra un dashboard es costoso. Una métrica extraída por OpenPipeline se calcula una vez, en la ingesta, y luego se consulta con timeseries como cualquier otra métrica. Puede alimentar un dashboard del módulo 4 o una detección de anomalías del módulo 5. El artículo métricas de histogramas en la ingesta lleva la idea hasta los SLO de latencia.
Controlar el volumen
Filtrar los logs inútiles (health checks, debug en producción) desde la entrada y dirigirlos a buckets con una retención adecuada son las dos palancas más eficaces sobre los costes. Documenta cada regla de exclusión: un log eliminado en la ingesta no se podrá recuperar durante un incidente.
Ejercicio práctico
Paso 1: inventariar tus logs
En un Notebook, cuenta los logs de la última hora por log.source y por loglevel. Resultado esperado: una tabla que muestra las tres fuentes más habladoras.
Paso 2: elegir un formato que estructurar
Localiza una fuente cuyo contenido incluya pares clave=valor o un formato estable. Copia tres líneas representativas. Resultado esperado: una muestra con la que probar el parsing.
Paso 3: probar el parsing
En el Notebook, aplica un comando parse a la fuente elegida hasta obtener los campos esperados. Resultado esperado: columnas tipadas (entero, cadena) rellenas en cada línea.
Paso 4: crear el pipeline
En la aplicación OpenPipeline, sección de logs, crea un pipeline con este procesador, una extracción de métrica (por ejemplo el número de líneas con un estado mayor o igual que 500) y una ruta que dirija a él únicamente la fuente elegida. Resultado esperado: los nuevos logs llegan con los campos extraídos.
Paso 5: verificar
Pasados unos minutos, consulta los logs de la fuente y la métrica creada con timeseries. Resultado esperado: valores coherentes con el número de errores observado en los logs.
Cuestionario
- ¿En qué momento procesa OpenPipeline los logs?
A. En cada consulta DQL · B. En la ingesta, antes del almacenamiento · C. Una vez al día · D. Solo durante un problema de Davis - ¿Qué etapa decide a qué pipeline va un registro?
A. El almacenamiento · B. El enrutado · C. La extracción · D. El enmascaramiento - ¿Por qué extraer una métrica en lugar de contar los logs cada vez que se muestra un dashboard?
A. Para perder los logs originales · B. El cálculo se hace una vez y la consulta es más ligera · C. Porque DQL no sabe contar · D. Nunca es útil - ¿Qué ocurre si un patrón de
parseno coincide con el contenido?
A. El log se rechaza · B. Los campos extraídos quedan vacíos · C. El pipeline se detiene · D. Davis abre un problema
Soluciones
- B: OpenPipeline actúa sobre el flujo entrante, lo que evita volver a hacer el parsing en cada consulta.
- B: una condición de enrutado dirige cada registro al pipeline adecuado.
- B: la métrica se calcula en la ingesta y después se consulta a menor coste.
- B: el fallo es silencioso, de ahí la importancia de probar con una muestra real.
Para ir más lejos
- Índice de la ruta de Dynatrace SaaS
- Ingesta de logs: detectar el silencio, los huecos de cobertura y los excesos de volumen
- Análisis de patrones de logs: de la masa bruta a consultas DQL reutilizables
- Documentación oficial de Dynatrace (secciones Log Management y OpenPipeline)
← Módulo 5: Davis y problemas · Índice de la ruta · Módulo 7: Workflows y automatización →
Preguntas frecuentes
¿Hay que pasar por OpenPipeline para almacenar logs?
Los logs se procesan con una configuración por defecto si no defines nada. Crear tus propios pipelines resulta útil en cuanto quieres estructurar, filtrar, enmascarar o extraer métricas.
¿Se pueden parsear los logs en el momento de la consulta en lugar de en la ingesta?
Sí, el comando parse también funciona en una consulta DQL. Es ideal para explorar; para un campo que se usa a diario, el parsing en la ingesta es más eficaz.
¿Cómo evitar almacenar datos personales en los logs?
El procesamiento de OpenPipeline permite enmascarar o eliminar campos antes del almacenamiento. Combínalo con una revisión de los logs de aplicación en origen: el mejor enmascaramiento sigue siendo no escribir el dato.
Los logs bien estructurados se convierten en una fuente de métricas, alertas e investigaciones rápidas. En el módulo siguiente usarás esas señales para desencadenar acciones automáticas con los Workflows.
span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de Dynatrace LLC. Esta ruta no sustituye a las formaciones y certificaciones oficiales de Dynatrace University. Comprueba las funcionalidades en la documentación oficial correspondiente a tu versión.