Enmascaramiento con OpenPipeline: filtrar, ocultar datos sensibles y reducir el coste

Enmascaramiento con OpenPipeline: oculta IP, correos y tokens en la ingesta, elimina campos inútiles y descarta logs de debug para reducir el coste.
OpenPipeline masquage : filtrer, masquer les données sensibles et réduire le coût

Un desarrollador añade una línea de debug que registra la petición completa: dirección de correo, dirección IP, token de autorización. Una semana después, esos datos están almacenados con 35 días de retención, legibles para cualquiera que tenga acceso a los logs. La respuesta cabe en pocas palabras: el enmascaramiento con OpenPipeline, que transforma los datos sensibles en la ingesta, antes del almacenamiento en Grail.

El mismo pipeline sirve también para reducir el coste: eliminar los campos que nadie lee, descartar los logs de debug de un entorno de pruebas, enviar los logs demasiado habladores a un bucket de retención corta. Para un SRE, es menos toil (se acabó la purga manual) y un riesgo de cumplimiento bajo control.

Objetivo de este tutorial: configurar un pipeline de logs que oculte las IP, los correos y los tokens, elimine los campos inútiles y descarte los logs sin valor, y verificar después el resultado con DQL. OpenPipeline se apoya en Grail: el contenido vale para Dynatrace SaaS. En Dynatrace Managed, el enmascaramiento pasa por otros mecanismos, mencionados en las preguntas frecuentes.

Requisitos previos

  • Un entorno de Dynatrace SaaS con Grail y los permisos de administración de OpenPipeline.
  • Logs ya ingeridos (OneAgent, API u OpenTelemetry); consulta el módulo de logs y OpenPipeline para las bases.
  • La lista de los datos que hay que proteger, validada con tu DPO: correos, IP, tokens, identificadores de clientes.
  • Acceso a Notebooks para la verificación.

Cómo procesa OpenPipeline un log

Un registro entra por una fuente de ingesta, se enruta a un pipeline según una condición DQL y atraviesa después varias etapas. La etapa de procesamiento (processing) aplica procesadores en orden: procesador DQL, eliminación de campos, renombrado, eliminación de registro. Cada procesador tiene una condición de coincidencia (matcher) que limita su acción a los registros afectados. Una etapa de almacenamiento elige después el bucket y, por tanto, la retención.

Consecuencia práctica: todo lo que se enmascara en la etapa de procesamiento nunca se escribe en claro en Grail. Un enmascaramiento aplicado más tarde, en una consulta o en un dashboard, no protege nada.

Enmascaramiento con OpenPipeline de los datos sensibles paso a paso

Paso 1: crear un pipeline y su ruta

En la pantalla de OpenPipeline, sección Logs, crea un pipeline con un nombre como logs-app-paiement. Añade una ruta dinámica con una condición que seleccione solo los logs deseados:

matchesValue(k8s.namespace.name, "paiement")

Empieza con un ámbito estrecho: un namespace o una aplicación. Lo ampliarás cuando hayas verificado el resultado.

Paso 2: enmascarar las direcciones IP

Añade un procesador DQL en la etapa de procesamiento. Para sustituir todas las direcciones IP presentes en el mensaje:

fieldsAdd content = replacePattern(content, "IPADDR", "xxx.xxx.xxx.xxx")

Si una dirección ya está aislada en un campo y quieres conservar la red para el análisis, trunca la dirección en lugar de borrarla:

fieldsAdd client.ip = ipMask(client.ip, 24)

ipMask(..., 24) pone a cero el último octeto: sigues sabiendo de qué red viene el tráfico, sin identificar la máquina. Adapta el nombre del campo (client.ip aquí) a tus datos.

Paso 3: enmascarar los correos electrónicos

Un segundo procesador DQL extrae la dirección, la sustituye y elimina después el campo temporal:

parse content, "LD ([a-zA-Z0-9.!#$%&*+-/=?^_{|}~]+'@' LD '.' LD):email"
| fieldsAdd content = replaceString(content, email, "[email protected]")
| fieldsRemove email

Matcher recomendado: contains(content, "@"). El procesador solo se ejecuta entonces en las líneas que pueden contener una dirección, lo que limita el coste de procesamiento. Este patrón trata la primera dirección de la línea: pruébalo con tus formatos reales mediante la función de vista previa del procesador.

Paso 4: enmascarar los tokens

Los tokens Bearer suelen acabar en los logs de acceso. Un patrón DPL específico los sustituye:

fieldsAdd content = replacePattern(content, "'Bearer ' [a-zA-Z0-9._-]+", "Bearer ***")

Valida este patrón en la vista previa con ejemplos de tus propios logs: la forma de los tokens varía de un proveedor de identidad a otro.

Paso 5: eliminar los campos inútiles

Añade un procesador de eliminación de campos, o un procesador DQL:

fieldsRemove http.request.header.cookie, debug.payload

Cada atributo almacenado cuesta, y una cookie de sesión es también un dato sensible. Elimina lo que no ha servido nunca en una consulta en los últimos tres meses.

Paso 6: descartar los logs sin valor

Añade un procesador de eliminación de registro (Drop record) con este matcher:

matchesValue(loglevel, "DEBUG") and matchesValue(deployment.environment, "test")

Esas líneas no se almacenan. Para los logs que quieres conservar, pero poco tiempo, es mejor usar la etapa de almacenamiento: asígnalos a un bucket de retención corta en lugar de eliminarlos.

Cómo comprobar que funciona

Genera algunas líneas de prueba, espera uno o dos minutos y lanza en un Notebook:

fetch logs, from:now()-30m
| filter k8s.namespace.name == "paiement"
| summarize {
    total = count(),
    ip_masquees = countIf(contains(content, "xxx.xxx.xxx.xxx")),
    emails_masques = countIf(contains(content, "[email protected]")),
    emails_restants = countIf(contains(content, "@") and not contains(content, "[email protected]"))
  }

emails_restants debe valer cero. Si no, muestra esas líneas con filter para ver el formato que escapa al patrón. Comprueba también que no aparece ninguna línea DEBUG del entorno de pruebas y que los campos eliminados han desaparecido de los nuevos registros. Los logs escritos antes de activar el pipeline no cambian.

Para seguir el efecto sobre el volumen ingerido, compara el número de líneas por día antes y después de la puesta en marcha, con las consultas de monitorización de la ingesta de logs.

Buenas prácticas

  • Enmascara lo antes posible: en la aplicación si se puede; si no, en el Collector de OpenTelemetry; si no, en OpenPipeline. Varias capas valen más que una.
  • Prueba con la vista previa de cada procesador antes de activar el pipeline.
  • Restringe cada procesador con un matcher: menos registros procesados, menos sorpresas.
  • Documenta las reglas de enmascaramiento para tu DPO y versiona la configuración (Monaco o Terraform).
  • Conserva el contexto útil: enmascarar un trace_id rompería la correlación entre logs y trazas (consulta los logs de OpenTelemetry con trace_id).

Preguntas frecuentes

¿Se aplica el enmascaramiento a los logs ya almacenados?

No. OpenPipeline actúa en la ingesta. Para los datos ya almacenados hay que recurrir a los mecanismos de eliminación de datos de Grail, descritos en la documentación.

¿Cómo enmascarar datos sensibles con Dynatrace Managed?

OpenPipeline no está disponible sin Grail. En Managed, usa las opciones de enmascaramiento de datos sensibles de OneAgent y de la gestión de logs, o enmascara en el Collector de OpenTelemetry con el procesador transform antes del envío.

¿Eliminar logs con Drop record reduce de verdad la factura?

Los registros eliminados no se almacenan ni se conservan, lo que reduce los volúmenes de retención y de consulta. El efecto exacto sobre la factura depende de tu modelo de licencia: compruébalo con tu contrato y los eventos de consumo.

Conclusión

Bastan unos pocos procesadores bien dirigidos: replacePattern e ipMask para las IP, un parse para los correos, un patrón para los tokens, fieldsRemove y Drop record para el volumen. Verifica con DQL, documenta para el cumplimiento y la próxima línea de debug demasiado habladora no se convertirá en un incidente de datos.

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de su propietario. Los nombres de pantallas, procesadores y funciones evolucionan: compruébalos en la documentación oficial de tu versión.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
DQL avancé : lookup, join, parse et fonctions de fenêtre

DQL avanzado: lookup, join, parse y funciones de ventana

Next Post
Licence DPS Dynatrace : comprendre et maîtriser la consommation

Licencia DPS de Dynatrace: tarifas, rate card y consumo

Related Posts