Las cargas de trabajo de IA trastocan las costumbres de los SRE y de los equipos de plataforma: un servicio que llama a un gran modelo de lenguaje puede responder en 200 milisegundos o en 20 segundos, costar un céntimo o un euro, y dar dos respuestas distintas a la misma pregunta. Las herramientas de fiabilidad siguen siendo las mismas, pero lo que hay que medir, y la forma de garantizarlo, cambian de manera notable.
La mayoría de las organizaciones ya tienen prácticas SRE y plataformas internas maduras. La dificultad ya no es empezar, sino absorber una nueva categoría de servicios sin multiplicar los dashboards ni perder el control de los costes.
Este artículo recoge lo que cambia en concreto, propone un catálogo de indicadores adecuados y muestra cómo un equipo de plataforma puede ofrecer estos requisitos por defecto.
¿En qué fallan de forma distinta las cargas de trabajo de IA?
Una API clásica cae de forma clara: error 500, tiempo de espera agotado, cola desbordada. Un servicio de IA añade modos de fallo más discretos:
- El no determinismo. La misma entrada no siempre produce la misma salida, lo que complica las pruebas de regresión.
- La calidad degradada sin error. Una respuesta falsa pero bien redactada devuelve un código 200.
- El coste variable. El número de tokens depende de la pregunta, del contexto recuperado y de los bucles de un agente. Un prompt mal diseñado puede duplicar la factura sin que la latencia se mueva.
- Las dependencias externas. Proveedores de modelos, cuotas, límites de tasa: otros tantos puntos de fallo fuera de tu perímetro.
- La deriva. Un cambio de modelo, de prompt o de datos modifica el comportamiento sin ningún despliegue de código de la aplicación.
- Los recursos escasos. Las GPU son caras y a menudo compartidas; la saturación se manifiesta con colas de espera más que con errores.
Lo que muestran los datos de campo
El estudio State of SRE and Platform Engineering 2026, publicado por Dynatrace, ofrece algunas referencias útiles. Los SLO están muy extendidos (el 89 % de los encuestados los usa en al menos una parte de sus equipos o sistemas), pero cerca de la mitad considera que la multiplicación de las fuentes de datos frena su definición. En el lado de la plataforma, el 74 % ya ofrece dashboards de observabilidad en autoservicio, mientras que solo el 40 % integra la observabilidad en todos sus despliegues.
Dicho de otro modo, las bases están, pero la cobertura sigue siendo parcial. Y una carga de IA que funciona en una zona mal cubierta se convierte enseguida en una caja negra: ya no se sabe si se comporta como durante las pruebas.
¿Qué indicadores usar para las cargas de IA?
Las cuatro señales clásicas (latencia, tráfico, errores, saturación) siguen siendo la base. Se completan con indicadores propios de la IA:
| Indicador | Qué revela | Ejemplo de umbral |
|---|---|---|
| Tiempo hasta el primer token | Reactividad percibida en streaming | p95 inferior a 1,5 s |
| Tokens por petición | Deriva del contexto o de los bucles del agente | Alerta si +40 % en 24 h |
| Coste por tarea lograda | Eficiencia económica real | Presupuesto mensual por uso |
| Puntuación de evaluación | Calidad de las respuestas sobre una muestra | Superior a 0,85 |
| Tasa de errores del proveedor | Cuotas, límites de tasa, indisponibilidades | Inferior al 1 % |
| Cola de GPU | Saturación de la inferencia | Menos de 10 peticiones en espera |
Estos umbrales son ejemplos que debes adaptar. Lo importante es elegir pocos indicadores, vinculados a la experiencia de usuario, en lugar de añadir decenas de métricas. Para los SLO de latencia, un enfoque basado en la distribución es especialmente adecuado para respuestas de duración muy variable: consulta las métricas de histograma con OpenPipeline.
El papel del equipo de plataforma: un camino marcado para la IA
Los SRE y los ingenieros de plataforma trabajan cada vez más juntos: el estudio indica que el 73 % de los encuestados comparte responsabilidades entre ambos equipos. Para la IA, este reparto toma una forma concreta: la plataforma proporciona plantillas de proyecto en las que la instrumentación, los SLO, las barreras de seguridad (guardrails) y los presupuestos están presentes desde la creación del servicio. Los desarrolladores no tienen que reinventar la monitorización de su agente; heredan una base común.
Esa base debe cubrir también el paso de la evaluación a la producción. Las pruebas realizadas durante el desarrollo y la monitorización en explotación suelen vivir en herramientas separadas, lo que impide comprobar que el sistema se comporta en producción como en las pruebas. Es el hilo conductor de nuestra guía de observabilidad de la IA de extremo a extremo.
En la práctica: integrar una carga de IA en tu enfoque SRE
Paso 1: clasificar las cargas de IA por criticidad
Distingue los usos internos (asistente de código, resumen de tickets) de los expuestos a clientes o integrados en un proceso de negocio. Solo los segundos justifican SLO estrictos y una guardia (on-call).
Paso 2: escribir el SLO en el repositorio
Describe los objetivos como configuración versionada. El formato siguiente es genérico, para adaptarlo a tu herramienta:
service: assistant-souscription
slo:
- nom: latence_premier_token
objectif: 99.0 # % des requêtes sous le seuil
seuil_ms: 1500
fenetre: 28j
- nom: qualite_reponses
objectif: 95.0 # % d'échantillons évalués conformes
fenetre: 7j
budget:
cout_mensuel_max_eur: 4000
alerte_a: 0.8
Paso 3: instrumentar por defecto en la plantilla de despliegue
En la plantilla de Kubernetes que ofrece la plataforma, las variables estándar de OpenTelemetry garantizan que cada servicio nuevo envíe sus trazas al lugar correcto:
env:
- name: OTEL_SERVICE_NAME
value: assistant-souscription
- name: OTEL_EXPORTER_OTLP_ENDPOINT
value: http://otel-collector.observabilite:4318
- name: OTEL_RESOURCE_ATTRIBUTES
value: team=souscription,criticite=haute
La dirección del colector es un ejemplo. Para los nodos de inferencia, vigila también los recursos realmente reservados por los pods, un tema tratado en las peticiones de CPU efectivas en Kubernetes.
Paso 4: añadir una puerta de calidad de IA al pipeline
Antes de cada puesta en producción de un nuevo prompt o modelo, ejecuta el conjunto de evaluación y bloquea la entrega si la puntuación baja. Como los resultados son probabilistas, compara una media de varias ejecuciones en lugar de un resultado único, y complétalo con monitorización en producción.
Paso 5: relacionar costes y fiabilidad
Muestra lado a lado el presupuesto de error y el presupuesto financiero. Un agente que cumple su SLO de latencia pero triplica su consumo de tokens es un incidente, aunque no despierte a nadie.
Buenas prácticas
- Tratar fiabilidad, seguridad y observabilidad como un único requisito desde el diseño.
- Limitar los SLO de IA a unos pocos indicadores cercanos al usuario.
- Versionar la configuración de observabilidad y las barreras de seguridad («as code») para la auditoría.
- Mantener una validación humana para toda acción automatizada de alto impacto.
- Seguir las convenciones semánticas GenAI de OpenTelemetry para evitar formatos propios.
Preguntas frecuentes
¿Hacen falta SLO específicos para un servicio de IA?
Sí para los usos críticos: además de la latencia y los errores, un objetivo de calidad medido por evaluación y un presupuesto de coste. Los usos internos pueden conformarse con un seguimiento sin guardia.
¿Quién es responsable de la calidad de las respuestas, el SRE o el equipo de IA?
El equipo de IA define los evaluadores y mejora el sistema; el SRE garantiza que se ejecutan de forma continua y que las desviaciones disparan una alerta. La responsabilidad es compartida, de ahí el interés de una plataforma común.
¿Cómo evitar que se dispare el número de métricas?
Partir de las cuatro señales clásicas, añadir dos o tres indicadores de IA ligados a la experiencia de usuario y eliminar cualquier dashboard que no sirva para ninguna decisión.
Conclusión
Las cargas de trabajo de IA no vuelven obsoletas las prácticas SRE; las obligan a medir la calidad y el coste igual que la disponibilidad. Los equipos que inscriben estos requisitos en la plataforma, en lugar de dejarlos a cada proyecto, ganan en coherencia y en tranquilidad. El siguiente paso lógico es ver cómo la IA cambia la fiabilidad en el día a día. Los atributos estándar se describen en las convenciones semánticas GenAI de OpenTelemetry.
Para ir más lejos: SRE best practices and platform engineering trends: How AI workloads raise demands on observability to meet reliability requirements (blog de Dynatrace, en inglés).
span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC ni a los proyectos citados. Las marcas citadas pertenecen a sus propietarios. Las herramientas evolucionan rápido: comprueba siempre los comandos y las opciones en su documentación oficial.