Una release pasa la CI, las pruebas de integración y la revisión de código. Diez minutos después del despliegue, la latencia p95 se duplica y la tasa de errores sube. Nadie lo ve antes que los usuarios. Site Reliability Guardian, una aplicación de Dynatrace SaaS, responde a este problema: evalúa automáticamente una release con objetivos medidos en producción y devuelve un veredicto claro.
El objetivo de este tutorial: crear un guardian con tres objetivos escritos en DQL, dispararlo con un Workflow después de cada despliegue y aprovechar el veredicto para continuar o deshacer el rollout. Reduces el tiempo entre la introducción de una regresión y su detección, y con ello el MTTR y el consumo de presupuesto de error (error budget).
Alcance: Site Reliability Guardian se apoya en Grail, DQL y AutomationEngine. Está disponible solo en Dynatrace SaaS (plataforma reciente). En Dynatrace Managed no existe: la alternativa es un control con scripts mediante la API, descrito en el artículo sobre el presupuesto de error como release gate.
El problema: pruebas en verde, producción en rojo
Las pruebas validan el comportamiento esperado, no el comportamiento real bajo carga. Una consulta N+1, un pool de conexiones demasiado pequeño o un timeout mal ajustado solo aparecen en producción. Sin un control automático tras el despliegue, la detección depende de una alerta de umbral o de un ticket de cliente. Un guardian cierra ese ciclo en unos minutos.
Requisitos previos
- Un entorno de Dynatrace SaaS con Grail y la aplicación Site Reliability Guardian instalada (desde el Hub si no está presente).
- Servicios monitorizados por OneAgent u OpenTelemetry, con métricas de peticiones y de errores disponibles en DQL.
- Los permisos para crear guardians y Workflows. Los nombres exactos de los permisos cambian: consulta la documentación de Site Reliability Guardian.
- Un pipeline de CI/CD capaz de enviar un evento de despliegue a Dynatrace.
Paso 1: elegir objetivos que reflejen al usuario
Un objetivo de guardian es una consulta DQL que devuelve un único valor, comparado con un umbral de aviso y un umbral de fallo. Elige tres señales, no quince:
- Tasa de errores del servicio desplegado;
- Latencia p95 de las peticiones;
- Estado de un SLO existente, si tienes uno.
Para elegir los indicadores adecuados, apóyate en el método para elegir tus SLI con DQL.
Paso 2: escribir las consultas DQL de los objetivos
Tasa de errores del servicio checkout, en porcentaje:
timeseries total = sum(dt.service.request.count),
failed = sum(dt.service.request.failure_count),
filter: { dt.entity.service == "SERVICE-1234567890ABCDEF" }
| fieldsAdd error_rate = 100 * arraySum(failed) / arraySum(total)
| fields error_rate
Latencia p95, en milisegundos:
timeseries p95 = percentile(dt.service.request.response_time, 95),
filter: { dt.entity.service == "SERVICE-1234567890ABCDEF" }
| fieldsAdd p95_ms = arrayAvg(p95) / 1000
| fields p95_ms
Líneas críticas: la consulta debe terminar en un único registro y un único campo numérico; si no, el objetivo no se puede evaluar. El tiempo de respuesta se almacena en microsegundos, de ahí la división entre 1000. La ventana temporal no se escribe en la consulta: la aporta la validación. Sustituye el identificador de servicio por el tuyo.
Paso 3: crear el guardian
- Abre la aplicación Site Reliability Guardian y crea un guardian nuevo, por ejemplo
checkout-release. - Añade un objetivo por consulta. Para la tasa de errores: comparación «menor o igual», aviso en 1, fallo en 2.
- Para la latencia p95: aviso en 400, fallo en 600.
- Para un SLO existente, la aplicación suele ofrecer un tipo de objetivo específico: comprueba la opción disponible en tu versión.
- Guarda. El guardian no evalúa nada mientras no se dispare una validación.
Si gestionas tus SLO como código, mantén la misma lógica para los guardians: consulta los SLO de Dynatrace con Terraform. Comprueba en el registro de Terraform del provider de Dynatrace si existe un recurso para los guardians en tu versión.
Paso 4: enviar el evento de despliegue desde la CI
La CI anuncia a Dynatrace el final del despliegue. Con un token de plataforma o un cliente OAuth autorizado para ingerir eventos, sirve una llamada como la siguiente. El endpoint y el esquema exactos deben confirmarse en la documentación de ingesta de OpenPipeline de tu entorno:
curl -sS -X POST "https://${DT_ENV}.live.dynatrace.com/platform/ingest/v1/events.sdlc" \
-H "Authorization: Bearer ${DT_PLATFORM_TOKEN}" \
-H "Content-Type: application/json" \
-d '{
"event.kind": "SDLC_EVENT",
"event.category": "task",
"event.type": "deployment",
"event.status": "finished",
"event.provider": "gitlab-ci",
"service.name": "checkout",
"release.version": "2.14.0"
}'
Paso 5: disparar la validación con un Workflow
- Crea un Workflow con un disparador de evento que filtre el evento anterior, por ejemplo
event.type == "deployment" and event.status == "finished" and service.name == "checkout". - Añade una primera tarea de espera o programa la ejecución para dar tiempo al tráfico de producir datos (15 minutos es un buen comienzo).
- Añade la acción de validación de Site Reliability Guardian, elige
checkout-releasey una ventana relativa, por ejemplo los últimos 15 minutos. - Añade una tarea condicional sobre el resultado: notificación a Slack o Teams en caso de fallo, llamada a la API de tu herramienta de despliegue para un rollback.
Los Workflows se detallan en el módulo 7 del curso de SaaS.
Cómo comprobar que funciona
Envía el evento de despliegue a mano con el comando curl anterior. Después:
- en la aplicación Workflows, la ejecución debe aparecer con cada tarea en éxito;
- en la aplicación Site Reliability Guardian, el guardian muestra una validación con un estado global (éxito, aviso o fallo) y el detalle por objetivo;
- los resultados de la validación también se registran como eventos en Grail. Una consulta como esta permite encontrarlos; tabla events, tipo validation:
fetch events, from: now()-24h
| filter event.kind == "SDLC_EVENT"
| filter event.provider == "dynatrace.site.reliability.guardian"
| filter event.type == "validation"
| fields timestamp, validation.result, dt.srg.name, event.version
| sort timestamp desc
| limit 20
Para probar el fallo, baja temporalmente el umbral de latencia por debajo del valor real y vuelve a lanzar: el Workflow debe tomar la rama de fallo.
Buenas prácticas para Site Reliability Guardian
- Pocos objetivos, bien elegidos: tres objetivos ligados al usuario valen más que quince métricas técnicas que generan avisos ignorados.
- Umbrales sacados del histórico: parte del p95 observado en la versión anterior, con un margen, en lugar de una cifra arbitraria.
- Ventana adaptada al tráfico: un servicio con poco tráfico necesita una ventana más larga para un resultado significativo.
- Veredicto accionable: un fallo debe disparar una acción precisa (pausa del canary, rollback); si no, el guardian se convierte en un dashboard más.
- Revisión sin culpables (blameless): cada fallo es un dato sobre el proceso de entrega, no una falta individual.
Preguntas frecuentes
¿Funciona Site Reliability Guardian en Dynatrace Managed?
No. Depende de Grail, DQL y AutomationEngine, propios de la plataforma SaaS. En Managed, consulta los SLO mediante la API v2 desde la CI y decide en el pipeline.
¿Se puede comparar la versión nueva con la anterior?
Sí, escribiendo umbrales sacados de la versión anterior, o usando las opciones de comparación que ofrece la aplicación si tu versión las incluye. Comprueba la documentación oficial antes de fiarte.
¿Sustituye el guardian a las alertas de burn rate?
No. El guardian controla un momento preciso, la release. Las alertas de burn rate vigilan el presupuesto de forma continua. Ambos se complementan.
Conclusión
Un guardian convierte tus SLO en un control automático de entrega. Tres consultas DQL, un evento de despliegue y un Workflow bastan para detectar una regresión en un cuarto de hora en lugar de en unas horas. Empieza por un servicio crítico, observa los veredictos durante dos semanas y conecta después el rollback automático.
span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de su propietario.