Release gate de presupuesto de error: bloquear un paso a producción con Dynatrace (SaaS y Managed)

Release gate de presupuesto de error: un Workflow de Dynatrace calcula el presupuesto restante y bloquea el despliegue de CI/CD si es bajo.
Budget d'erreur release gate : bloquer une mise en production avec Dynatrace (SaaS et Managed)

Viernes, 16 h: sale un paso a producción cuando el servicio ya ha consumido el 90 % de su presupuesto de error (error budget) del mes. Nadie lo ha comprobado, porque la información vive en un dashboard que el pipeline no lee. Un release gate de presupuesto de error resuelve este problema: el pipeline de CI/CD consulta Dynatrace antes de desplegar y se detiene si el presupuesto es demasiado bajo.

El objetivo de este tutorial: construir una puerta de paso a producción que calcule el presupuesto de error restante de un servicio, lo compare con un umbral y devuelva un veredicto que tu pipeline pueda usar. La versión para Dynatrace SaaS utiliza un Workflow con una tarea DQL y una tarea JavaScript. La versión para Dynatrace Managed, que no tiene la aplicación Workflows, lee el SLO mediante la API v2.

Este tutorial supone que ya tienes un SLO definido. Si no es así, empieza por las alertas de burn rate de SLO en Dynatrace, que detallan el cálculo del presupuesto.

El principio de un release gate de presupuesto de error

El error budget es lo que el SLO permite fallar. Con 99,9 % en 30 días, el presupuesto equivale al 0,1 % de las peticiones. Mientras quede presupuesto, el equipo entrega. Cuando está casi agotado, frena y prioriza la fiabilidad. Es la política de error budget que describe la literatura de SRE.

La puerta aplica esa política sin reuniones:

  • Presupuesto restante ≥ 25 %: el despliegue continúa.
  • Presupuesto restante < 25 %: el despliegue se bloquea, salvo un arreglo de fiabilidad validado por la guardia (on-call).
  • Burn rate alto en la última hora: también se bloquea, porque hay un incidente en curso.

Los umbrales son ejemplos. Fíjalos con el equipo de producto y anótalos en tu política de error budget.

Requisitos previos

  • SaaS: entorno sobre Grail, acceso a la aplicación Workflows, permisos de lectura de métricas. Para lanzar el Workflow desde el CI: un cliente OAuth o un platform token con permisos de ejecución y de lectura de Workflows (ámbitos del tipo automation:workflows:run y automation:workflows:read; comprueba los nombres exactos en la documentación).
  • Managed: un SLO clásico existente, un token de API con el scope slo.read, y curl + jq en el agente de CI.
  • Un servicio monitorizado por OneAgent u OpenTelemetry, con tráfico regular. Para la opción OpenTelemetry, consulta el Collector de OpenTelemetry hacia Dynatrace.

Pasos en Dynatrace SaaS

Paso 1: escribir la consulta DQL del presupuesto

Prueba primero la consulta en un Notebook. Calcula el SLI en 30 días, el presupuesto restante y el burn rate de la última hora:

timeseries {
    total = sum(dt.service.request.count),
    failures = sum(dt.service.request.failure_count)
  },
  from: now() - 30d,
  filter: { dt.entity.service == "SERVICE-1234567890ABCDEF" }
| fieldsAdd t = arraySum(total), f = arraySum(failures)
| fieldsAdd sli = 100 * (t - f) / t
| fieldsAdd budget_restant = 100 * (1 - (f / t) / 0.001)
| fields sli, budget_restant

Líneas críticas: 0.001 corresponde al error permitido por un SLO de 99,9 %. budget_restant vale 100 cuando no ha habido ningún error y pasa a negativo cuando se supera el presupuesto. Para el burn rate reciente, duplica la consulta con from: now() - 1h y calcula (f / t) / 0.001. Si ya usas un SLO en la aplicación Service-Level Objectives, mantén la misma definición de SLI para que la puerta y el SLO muestren las mismas cifras.

Paso 2: crear el Workflow

  1. Abre Workflows y crea un Workflow llamado release-gate-checkout.
  2. Mantén un disparador bajo demanda (on demand): lo lanzará el pipeline.
  3. Añade una tarea Execute DQL Query llamada budget con la consulta del paso 1.
  4. Añade una tarea Run JavaScript llamada verdict, que dependa de budget.

Código de la tarea verdict:

import { execution } from '@dynatrace-sdk/automation-utils';

const SEUIL = 25; // budget restant minimal en %

export default async function ({ execution_id }) {
  const ex = await execution(execution_id);
  const res = await ex.result('budget');
  const ligne = res.records[0];
  if (!ligne || ligne.budget_restant === null) {
    throw new Error('Aucune donnée : porte fermée par prudence');
  }
  const budget = Number(ligne.budget_restant);
  if (budget < SEUIL) {
    throw new Error(`Budget restant ${budget.toFixed(1)} % < ${SEUIL} % : déploiement bloqué`);
  }
  return { budget, decision: 'go' };
}

Líneas críticas: una excepción hace fallar la tarea y, por tanto, la ejecución del Workflow. El pipeline solo tiene un estado que leer. La ausencia de datos cierra la puerta: un SLI mudo nunca debe equivaler a luz verde. La forma exacta del resultado de la tarea DQL puede cambiar; muéstralo una vez con console.log(res) para confirmar la ruta records.

Paso 3: llamar a la puerta desde el pipeline

Ejemplo en bash, utilizable en GitLab CI, GitHub Actions o Jenkins:

#!/usr/bin/env bash
set -euo pipefail
BASE="https://${DT_ENV}.apps.dynatrace.com/platform/automation/v1"
AUTH="Authorization: Bearer ${DT_PLATFORM_TOKEN}"

EXEC_ID=$(curl -sf -X POST "$BASE/workflows/${WF_ID}/run" \
  -H "$AUTH" -H "Content-Type: application/json" -d '{}' | jq -r '.id')

for i in $(seq 1 30); do
  STATE=$(curl -sf "$BASE/executions/${EXEC_ID}" -H "$AUTH" | jq -r '.state')
  case "$STATE" in
    SUCCESS) echo "Porte ouverte"; exit 0 ;;
    ERROR|CANCELLED) echo "Porte fermée ($STATE)"; exit 1 ;;
  esac
  sleep 10
done
echo "Délai dépassé : porte fermée"; exit 1

Líneas críticas: .id es el identificador de la ejecución; .state pasa por RUNNING y después por un estado final. Comprueba las rutas y los valores de estado en la documentación de Workflows y en la referencia de la API Automation. El plazo máximo cierra la puerta, de nuevo por prudencia.

Paso equivalente en Dynatrace Managed

Managed no tiene Workflows. El pipeline lee directamente el SLO clásico mediante la API Environment v2:

SLO=$(curl -sf "https://${DT_DOMAIN}/e/${DT_ENV_ID}/api/v2/slo/${SLO_ID}?timeFrame=CURRENT" \
  -H "Authorization: Api-Token ${DT_API_TOKEN}")
BUDGET=$(echo "$SLO" | jq -r '.errorBudget')
echo "Error budget : $BUDGET"
# errorBudget est exprimé en points de pourcentage du SLI (ex. 0.08 sur une cible de 99,9)
awk -v b="$BUDGET" 'BEGIN { exit !(b >= 0.025) }' || { echo "Porte fermée"; exit 1; }

El campo errorBudget devuelve el margen entre el SLI y el objetivo, no un porcentaje del presupuesto inicial. Con un objetivo de 99,9, el margen máximo es 0,1: el 25 % del presupuesto corresponde, por tanto, a 0,025. Confirma la semántica del campo y el parámetro timeFrame en la documentación de la API de SLO para tu versión del clúster.

Cómo comprobar que funciona

  1. Caso favorable: lanza el Workflow a mano. La ejecución debe terminar con éxito, y el resultado de verdict mostrar decision: "go" con el presupuesto.
  2. Caso bloqueante: pon temporalmente SEUIL en 101. La ejecución debe fallar con el mensaje «déploiement bloqué», y el script del pipeline terminar con código 1.
  3. Caso sin datos: sustituye el identificador del servicio por uno inexistente. La puerta debe cerrarse.
  4. Trazabilidad: en Workflows, la pestaña de ejecuciones conserva cada veredicto. En Managed, guarda la salida del job de CI.

Restablece después los valores reales. Una prueba que nunca ha visto la puerta cerrada no demuestra nada.

Buenas prácticas

  • Prevé una excepción explícita (variable de pipeline, aprobación manual) para los arreglos de fiabilidad: bloquear el arreglo de un incidente empeora el MTTR.
  • Un SLO por recorrido de usuario, no por microservicio. La puerta de un servicio lee el SLO del recorrido al que sirve.
  • Combina presupuesto restante y burn rate reciente: un presupuesto amplio no protege de un incidente en curso.
  • Tras un bloqueo, haz una revisión sin culpables (blameless): la puerta señala un riesgo, no designa a un responsable.
  • Para controles más ricos (varios objetivos, comparación antes/después), mira Site Reliability Guardian en la documentación, que responde a la misma necesidad en SaaS.
  • Gestiona tus Workflows como código: consulta el módulo de Workflows y automatización.

Preguntas frecuentes

¿Por qué no leer directamente el SLO en el Workflow de SaaS?

Es posible si tu SLO expone sus valores mediante DQL o una acción dedicada. La consulta explícita tiene una ventaja: el cálculo es visible y se puede probar en un Notebook. Mantén una sola definición del SLI para evitar dos verdades.

¿Qué umbral elegir para bloquear?

Empieza amplio (por ejemplo 25 %) y ajusta tras unas semanas. Un umbral demasiado estricto bloquea a menudo, y el equipo acaba esquivando la puerta.

¿Sustituye la puerta a las pruebas?

No. Las pruebas validan el código entregado; la puerta comprueba que el servicio soporta un nuevo riesgo. Ambas se complementan.

Conclusión

Un release gate de presupuesto de error convierte la política de error budget en una regla automática: el pipeline lee Dynatrace y decide. Empieza con un servicio crítico y un umbral prudente, prueba el caso bloqueante y extiéndelo después a los demás equipos. Para la cultura SRE que hay detrás de esta práctica, lee IA y fiabilidad: lo que deben saber los SRE.

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC. Dynatrace es una marca de Dynatrace LLC. Las funciones de SaaS evolucionan rápido: comprueba su disponibilidad en tu entorno y en la documentación oficial.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
SLO Dynatrace Terraform : un SLO pour chaque service, généré en masse

SLO Dynatrace Terraform: un SLO para cada servicio, generado en masa

Next Post
OneAgent OpenTelemetry doublons : éviter les spans en double et le contexte cassé

OneAgent y OpenTelemetry duplicados: evitar spans repetidos y contexto roto

Related Posts