Un SLO sin alerta sigue siendo una cifra en un dashboard. Una alerta sobre un umbral de errores fijo, en cambio, despierta a la guardia (on-call) por un pico de dos minutos y se le escapa una degradación lenta que vacía el presupuesto en tres días. Las alertas burn rate SLO resuelven este doble problema: miden la velocidad a la que consumes tu presupuesto de error (error budget), no la tasa de errores bruta.
Objetivo de este tutorial: crear un SLO en Dynatrace, configurar dos alertas de burn rate (rápida y lenta), enrutarlas al equipo adecuado y comprobar que se disparan. El contenido cubre Dynatrace SaaS (nuevos SLO sobre Grail) y Dynatrace Managed (SLO clásicos). Ambos se señalan en cada paso.
Aquí no hay teoría extensa: si estás empezando con la cultura SRE, lee antes IA y fiabilidad: lo que los SRE deben saber.
Repaso exprés: SLI, SLO, presupuesto de error
- SLI (indicador de nivel de servicio): la medida, por ejemplo el porcentaje de peticiones correctas.
- SLO (objetivo de nivel de servicio): la meta sobre una ventana, por ejemplo 99,9 % en 30 días.
- Presupuesto de error (error budget): lo que la meta permite fallar, aquí el 0,1 % de las peticiones.
El burn rate en cifras
El burn rate (tasa de consumo) es la relación entre la tasa de errores observada y la tasa de errores que permite el SLO. Un burn rate de 1 consume exactamente el presupuesto en la ventana completa. Un burn rate de 10 lo consume diez veces más rápido.
Ejemplo de referencia para todo el artículo: SLO de 99,9 % en 30 días.
- Ventana: 30 × 24 × 60 = 43 200 minutos.
- Presupuesto de error: 0,1 % de 43 200 = 43,2 minutos de indisponibilidad total (o el equivalente en peticiones fallidas).
- Burn rate 14,4: tasa de errores del 1,44 %. El presupuesto se agota en 30 d / 14,4 ≈ 50 horas. Una hora a este ritmo consume el 2 % del presupuesto.
- Burn rate 6: tasa de errores del 0,6 %. Seis horas a este ritmo consumen el 5 % del presupuesto.
Alertas burn rate SLO multiventana: el método
El Google SRE Workbook (capítulo «Alerting on SLOs») recomienda combinar varios burn rates y, para cada uno, una ventana larga y una ventana corta:
| Alerta | Ventana larga | Ventana corta | Burn rate | Presupuesto consumido | Acción |
|---|---|---|---|---|---|
| Rápida | 1 h | 5 min | 14,4 | 2 % | Aviso (guardia) |
| Lenta | 6 h | 30 min | 6 | 5 % | Aviso o ticket |
La alerta salta solo si ambas ventanas superan el umbral. La ventana larga garantiza que el consumo es significativo. La ventana corta garantiza que el problema sigue en curso: la alerta se resuelve pronto tras la corrección, lo que mejora el MTTR medido y evita ruido.
En la práctica
Requisitos previos
- SaaS: entorno en la plataforma Grail, acceso a la aplicación Service-Level Objectives, permisos de lectura de métricas y de escritura de SLO. Los permisos exactos figuran en la documentación.
- Managed: versión de clúster reciente, rol que permita modificar los ajustes del entorno. Para la API: token con los scopes
slo.readyslo.write. - Un servicio ya monitorizado por OneAgent u OpenTelemetry, con tráfico.
Paso 1: crear el SLO en Dynatrace SaaS
Abre la aplicación Service-Level Objectives y crea un SLO. Parte de una plantilla (por ejemplo, la disponibilidad de un servicio) o de un SLI personalizado escrito en DQL. Ejemplo de SLI de disponibilidad:
timeseries {
total = sum(dt.service.request.count),
failures = sum(dt.service.request.failure_count)
},
by: { dt.entity.service },
filter: { dt.entity.service == "SERVICE-1234567890ABCDEF" }
| fieldsAdd sli = 100 * (total[] - failures[]) / total[]
Líneas críticas: failure_count define qué cuenta como error y, por tanto, qué consume el presupuesto. sli debe devolver un porcentaje entre 0 y 100. Después fija la meta en 99,9 y la ventana en 30 días. Los nombres de las métricas y la forma esperada de la consulta pueden cambiar: compruébalos en la documentación de Service-Level Objectives.
Paso 2: crear el SLO en Dynatrace Managed
En Service-level objectives (SLO clásicos), añade un SLO basado en una expresión de métrica:
(100)*(builtin:service.errors.server.successCount:splitBy())
/(builtin:service.requestCount.server:splitBy())
Añade un filtro de entidad (por ejemplo type("SERVICE"),tag("app:checkout")), una meta de 99,9 y un timeframe de -30d. La pantalla también propone un umbral de fast burn rate: ajústalo a 14,4 para que coincida con la alerta rápida.
Paso 3: configurar las alertas de burn rate
SaaS: desde el SLO, usa la opción de creación de alertas de la aplicación. Se apoya en la detección de anomalías de Davis y genera un evento cuando el burn rate supera el umbral. Crea una alerta con un umbral de 14,4 y una segunda con un umbral de 6. Si la interfaz no permite elegir las dos ventanas, crea un detector personalizado en Anomaly Detection con una consulta DQL que calcule el burn rate:
timeseries {
total = sum(dt.service.request.count),
failures = sum(dt.service.request.failure_count)
},
filter: { dt.entity.service == "SERVICE-1234567890ABCDEF" },
interval: 5m
| fieldsAdd burn_rate = (failures[] / total[]) / 0.001
Aquí 0.001 es la tasa de errores permitida por un SLO del 99,9 %. El detector compara burn_rate con 14,4; la duración de la ventana se ajusta en sus parámetros de violación (número de muestras en una ventana deslizante).
Managed: en el SLO, añade una alerta de tipo burn rate (umbral 14,4) y una alerta de estado (por ejemplo, por debajo del 99,95 %). Dynatrace crea los eventos de métrica correspondientes. Para la alerta lenta a 6, crea un evento de métrica personalizado sobre la métrica de burn rate del SLO. Los SLO clásicos no gestionan de forma nativa la doble ventana: aproxímala con las muestras de violación.
Paso 4: enrutar las alertas
Las dos alertas abren un problema de Davis. Falta enviarlas al lugar adecuado:
- Managed y SaaS (clásico): un perfil de alertas filtra por la etiqueta (tag) del servicio o por el título del evento, y después una integración (PagerDuty, Opsgenie, correo electrónico) lo envía. Consulta perfiles de alertas e integraciones.
- SaaS: un Workflow activado por los problemas de Davis, filtrado por el nombre de la alerta, envía la rápida a la guardia y la lenta a un ticket. Consulta el módulo de Workflows.
Ejemplo con cifras
Servicio checkout, SLO del 99,9 % en 30 días, 1 000 000 de peticiones al día. Presupuesto: 30 000 peticiones fallidas en el mes. Un despliegue hace subir la tasa de errores al 2 %, es decir, un burn rate de 20. A los 5 minutos, la ventana corta supera 14,4. La ventana de una hora solo alcanza 14,4 después de unos 43 minutos (14,4 / 20 × 60). En ese momento han fallado unas 600 peticiones, el 2 % del presupuesto: se avisa a la guardia. El rollback devuelve los errores al 0,05 %, la ventana de 5 minutos vuelve a bajar del umbral y la alerta se cierra.
Cómo comprobar que funciona
- En la aplicación de SLO (SaaS) o en la lista de SLO (Managed), el SLO muestra un estado, un presupuesto de error restante y un burn rate coherentes con tus cálculos.
- Sube temporalmente la meta (99,999 %) en un SLO de prueba: la alerta rápida debe abrir un problema.
- En SaaS, busca el evento en Grail:
fetch dt.davis.events, from: now() - 24h
| filter contains(event.name, "burn")
| fields timestamp, event.name, event.status
Adapta el filtro al nombre que le hayas dado a la alerta. En Managed, abre el flujo de problemas y comprueba la pestaña de notificaciones del problema.
Resolución de problemas
- El SLO sigue vacío: el SLI no devuelve datos. Ejecuta la consulta por separado en un Notebook o en el explorador de datos y comprueba el filtro de entidad.
- Burn rate absurdo (miles): el SLI está en fracción (0–1) en lugar de en porcentaje, o el tráfico es casi nulo. Añade un volumen mínimo de peticiones.
- Problema abierto pero ninguna notificación: el perfil de alertas o el filtro del Workflow no coincide. Comprueba la etiqueta y el retardo del perfil.
- Demasiadas alertas: falta la ventana corta; aumenta el número de muestras de violación.
Buenas prácticas
- Un SLO por recorrido de usuario crítico, no por microservicio.
- Solo la alerta rápida despierta a alguien; la lenta puede abrir un ticket.
- Documenta el runbook en la descripción de la alerta.
- Para la latencia, usa histogramas: consulta métricas de histogramas con OpenPipeline.
- Revisa los umbrales en un post-mortem blameless, con cifras en la mano.
Preguntas frecuentes
¿Por qué 14,4 y 6?
Son los valores que propone el Google SRE Workbook para un SLO a 30 días: el 2 % del presupuesto consumido en una hora, el 5 % en seis horas. Ajústalos a tu ventana y a tu tolerancia.
¿Los SLO clásicos siguen funcionando en SaaS?
Sí en muchos entornos, pero los nuevos SLO sobre Grail son la vía que se impulsa. Comprueba el calendario de migración en la documentación.
¿Hace falta una alerta de estado además del burn rate?
Es útil como complemento, para el reporting. Para la guardia, el burn rate es más fiable: avisa antes de que se agote el presupuesto.
Conclusión
Dos alertas bien ajustadas sustituyen a una decena de umbrales estáticos. El burn rate vincula directamente la alerta con el presupuesto de error y, por tanto, con la fiabilidad que percibe el usuario. Empieza con un solo SLO crítico, valida las cifras en pruebas y después amplía.
span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de Dynatrace LLC. Las funcionalidades de SaaS evolucionan rápido: comprueba su disponibilidad en tu entorno y en la documentación oficial.