La observabilidad de IA consiste en entender no solo si una aplicación de inteligencia artificial responde, sino si responde bien, a qué coste y siguiendo qué camino. Dynatrace ha completado la compra de Arize, el fabricante de la plataforma Arize AX y del proyecto de código abierto Phoenix: es buen momento para poner sobre la mesa lo que abarca realmente este tema, desde el primer prototipo hasta la operación a gran escala.
Hasta ahora convivían dos mundos que apenas se hablaban. Por un lado, los ingenieros de IA trazan sus agentes, lanzan evaluaciones y comparan experimentos en herramientas pensadas para ellos. Por otro, los equipos de SRE y de plataforma monitorizan servicios, infraestructura y experiencia de usuario. Entre ambos, los equipos de negocio ven los efectos, buenos o malos, sin ver las causas.
Este artículo es la puerta de entrada de nuestra serie sobre observabilidad de la IA. Describe el ciclo de vida completo, propone un método concreto para ponerlo en marcha y remite a artículos más específicos para cada etapa.
Por qué la observabilidad de IA no se reduce a la monitorización de aplicaciones
Tomemos un asistente de atención al cliente conectado a una base documental. Una mañana anuncia a decenas de clientes un plazo de reembolso de 30 días cuando la política pasó a 14 días la semana anterior. Ningún error HTTP, una latencia normal, una disponibilidad perfecta. Con la monitorización clásica, todo está en verde. Sin embargo, desde el punto de vista de la empresa, el servicio está caído.
Esa es la particularidad de los sistemas de IA: pueden fallar en silencio, con una respuesta plausible y segura de sí misma. Un agente también puede terminar su tarea dando un rodeo costoso, llamando cinco veces a la misma herramienta o leyendo un documento obsoleto. Para diagnosticar estos casos hacen falta señales que la telemetría de aplicación no aporta por sí sola: la trayectoria del agente, el contexto recuperado, las herramientas invocadas, los tokens consumidos y una medida de la calidad de la respuesta.
A la inversa, la telemetría de IA tampoco basta por sí sola. Una respuesta lenta puede deberse a una base de datos vectorial saturada, a un nodo con GPU en apuros o a una llamada de red a un proveedor de modelos. La observabilidad de IA útil conecta los dos niveles.
Qué cambia con la compra de Arize por Dynatrace
Arize se dirige a los ingenieros de IA: trazado de aplicaciones y agentes, evaluaciones, conjuntos de datos, experimentos. Dynatrace se dirige a los equipos que operan el entorno digital en su conjunto. El objetivo declarado es unir ambas disciplinas para cubrir todo el ciclo de vida de la IA.
Conviene retener algunos puntos factuales:
- Arize AX y la plataforma de Dynatrace se siguen ofreciendo por separado, y Phoenix sigue siendo un proyecto de código abierto.
- Phoenix se apoya en OpenTelemetry y en OpenInference, las convenciones de instrumentación creadas por Arize para la IA.
- Dynatrace ha indicado que quiere apoyar a Phoenix y contribuir a la gobernanza de OpenInference; para el acercamiento en curso con las convenciones GenAI de OpenTelemetry, sigue los repositorios oficiales de ambos proyectos.
- La hoja de ruta de integración aún no se ha publicado: Dynatrace indica que se irá precisando con los meses.
Para un equipo que empieza, la consecuencia práctica es sencilla: apostar por estándares abiertos (OpenTelemetry, convenciones GenAI) sigue siendo la opción menos arriesgada, sea cual sea la herramienta final. De hecho, comparamos las opciones de código abierto en nuestro artículo sobre Langfuse y OpenLLMetry.
Las cuatro fases de la observabilidad de IA, del prototipo a producción
Prototipo: ver qué hace el agente
Desde las primeras pruebas, traza cada llamada al modelo, cada recuperación de documentos y cada herramienta invocada. Estas trazas sirven para depurar, pero sobre todo para reunir los primeros ejemplos de evaluación.
Preproducción: evaluar antes de entregar
Un conjunto de preguntas de referencia, evaluadores (reglas, comparación con una respuesta esperada o un LLM como juez) y un umbral de calidad integrado en el pipeline. Un cambio de prompt o de modelo pasa a poder probarse como cualquier cambio de código.
Producción: trazas de LLM, latencia y costes
En operación se siguen las mismas trazas, enriquecidas con el contexto de la infraestructura: latencia por etapa, tokens por petición, coste por conversación, errores de los proveedores. Los SRE añaden sus objetivos de nivel de servicio, como detallamos en qué cambian las cargas de IA para los SRE.
Mejora continua: detectar la deriva
Un sistema de IA nunca permanece estático: nuevo modelo, prompt modificado, documentos añadidos, herramienta sustituida. La deriva se detecta evaluando de forma continua una muestra del tráfico real. Cada incidente debe producir un nuevo ejemplo en el conjunto de regresión.
En la práctica: construir un bucle de observabilidad de IA
Paso 1: cartografiar los usos
Haz una lista de las aplicaciones y agentes en producción o en desarrollo, con lo siguiente para cada uno: el modelo utilizado, las fuentes de datos, las herramientas autorizadas, el proceso de negocio al que sirve y el equipo responsable. Sin este inventario es imposible saber qué instrumentar primero.
Paso 2: instrumentar con OpenTelemetry
Añade un span por llamada al modelo con los atributos de las convenciones semánticas GenAI. El ejemplo siguiente está simplificado a propósito; client_llm representa tu propio cliente.
from opentelemetry import trace
tracer = trace.get_tracer("assistant-support")
def repondre(question, documents):
with tracer.start_as_current_span("chat assistant-support") as span:
span.set_attribute("gen_ai.operation.name", "chat")
span.set_attribute("gen_ai.request.model", MODELE)
span.set_attribute("app.rag.nb_documents", len(documents))
reponse = client_llm.generer(question, documents)
span.set_attribute("gen_ai.usage.input_tokens", reponse.tokens_entree)
span.set_attribute("gen_ai.usage.output_tokens", reponse.tokens_sortie)
return reponse.texte
Los nombres de los atributos GenAI aún están evolucionando: comprueba la versión de las convenciones que admiten tus bibliotecas. Para seguir una petición desde la interfaz hasta el host, consulta también OpenTelemetry de extremo a extremo con Dynatrace.
Paso 3: definir evaluadores
Empieza poco a poco: de tres a cinco criterios medibles. Por ejemplo, para el asistente de atención al cliente:
evaluateurs:
- nom: reponse_fondee # ¿la respuesta cita un documento recuperado?
type: llm_juge
- nom: politique_a_jour # ¿el documento citado tiene menos de 30 días?
type: regle
- nom: longueur_raisonnable
type: regle
max_tokens_sortie: 400
seuil_publication: 0.90
Paso 4: conectar con las señales de SRE y de negocio
Asocia cada traza de IA a su servicio, a su host o pod y al evento de negocio correspondiente (ticket resuelto, expediente tramitado). Ese vínculo es el que permite decir si una caída de calidad viene del modelo, de la infraestructura o de los datos. La medición del lado del negocio se desarrolla en medir el ROI de la IA.
Paso 5: reinyectar lo aprendido
Cada respuesta mal valorada en producción se incorpora al conjunto de regresión. Cada incidente da lugar a un nuevo evaluador o a una prueba. El bucle se cierra: la producción alimenta el desarrollo.
Buenas prácticas
- Instrumentar desde el prototipo en lugar de la víspera de la puesta en producción.
- Seguir el coste por tarea completada con éxito, no solo el coste total en tokens.
- Enmascarar o excluir los datos personales de los prompts y respuestas trazados.
- Evaluar de forma continua una muestra del tráfico real, no únicamente antes de cada versión.
- Versionar prompts, modelos y conjuntos de evaluación como si fueran código.
- Mantener a una persona en el bucle para las acciones de agente de alto impacto, un punto que se retoma en la IA y la fiabilidad en el día a día.
Los equipos de plataforma tienen un papel clave para difundir estas prácticas por defecto, como muestra nuestro panorama del platform engineering en 2026.
Preguntas frecuentes
¿Qué diferencia hay entre observabilidad de IA y monitorización de modelos?
La monitorización de modelos vigila sobre todo métricas del propio modelo. La observabilidad de IA cubre toda la cadena: trazas de agente, contexto, herramientas, infraestructura, costes y efectos de negocio, con la posibilidad de investigar un caso concreto.
¿Phoenix sigue siendo de código abierto tras la compra?
Sí, según el anuncio de Dynatrace, Phoenix sigue disponible como código abierto y Arize AX se sigue ofreciendo como oferta distinta. Consulta el repositorio oficial para conocer el estado actualizado del proyecto.
¿Hay que esperar a la integración Arize–Dynatrace para empezar?
No. Instrumentar con OpenTelemetry y las convenciones GenAI, construir un conjunto de evaluación y conectar las trazas con los servicios son pasos útiles desde ya, sea cual sea la herramienta elegida.
Conclusión
La observabilidad de IA no es un dashboard más: es un bucle que une la construcción, la operación y el valor de negocio de un sistema de IA. El acercamiento de Dynatrace y Arize ilustra esa convergencia, pero el método está al alcance desde hoy: trazar, evaluar, conectar, reinyectar. Para profundizar en los cimientos abiertos, consulta el repositorio de Phoenix en GitHub.
Para ir más lejos: Dynatrace completes acquisition of Arize to advance full-lifecycle AI observability (blog de Dynatrace, en inglés).
span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC ni a los proyectos citados. Las marcas citadas pertenecen a sus propietarios. Las herramientas evolucionan rápido: comprueba siempre los comandos y las opciones en su documentación oficial.