Langfuse y OpenLLMetry son dos proyectos de código abierto que responden a la misma pregunta: ¿qué ocurre de verdad dentro de una aplicación LLM? ¿Qué prompt se envió, qué documentos se recuperaron, cuántos tokens se consumieron, qué etapa tardó tres segundos? Sin trazas ni observabilidad LLM, una aplicación RAG o un agente sigue siendo una caja negra, y cada respuesta extraña se convierte en una investigación a ciegas.
Los dos proyectos tienen una particularidad que interesa directamente a los equipos SRE: hablan OpenTelemetry. OpenLLMetry es un conjunto de instrumentaciones que producen spans de OpenTelemetry para las llamadas a LLM, a bases de datos vectoriales y a frameworks. Langfuse es una plataforma de ingeniería LLM (trazas, gestión de prompts, evaluaciones, conjuntos de datos) capaz de recibir esas trazas mediante OTLP.
Este artículo muestra cómo combinarlos para trazar una aplicación LLM y cómo enviar las mismas trazas a un backend de observabilidad generalista. Completa nuestro artículo pilar sobre la observabilidad de la IA.
Langfuse y OpenLLMetry: ¿quién hace qué en la observabilidad LLM?
OpenLLMetry: la instrumentación
OpenLLMetry, mantenido por Traceloop con licencia Apache 2.0, ofrece instrumentaciones de OpenTelemetry para numerosos proveedores de modelos (entre ellos Ollama y las API compatibles con OpenAI), bases de datos vectoriales (Chroma, Qdrant, Milvus…) y frameworks (LangChain, LangGraph, LlamaIndex, CrewAI…). El SDK traceloop-sdk las activa de una vez; cada instrumentación existe también como paquete independiente si prefieres configurar OpenTelemetry por tu cuenta.
Los spans llevan atributos inspirados en las convenciones semánticas de OpenTelemetry para la IA generativa (gen_ai.*: modelo solicitado, tokens de entrada y de salida, etc.). Estas convenciones aún se están estabilizando: los nombres exactos pueden variar según la versión.
Langfuse: el análisis específico de LLM
Langfuse almacena las trazas y las presenta desde un ángulo LLM: árbol de llamadas, prompts y respuestas completos, costes estimados, sesiones de usuario, puntuaciones de evaluación y comentarios de los usuarios. Se puede autoalojar (la documentación describe despliegues con Docker Compose y Kubernetes) o usar en su versión cloud. Su punto de entrada OpenTelemetry es /api/public/otel, en OTLP sobre HTTP (JSON o protobuf); según la documentación, gRPC no está soportado por ahora.
¿Y el backend de observabilidad?
Langfuse es excelente para el equipo que construye la aplicación. El equipo de explotación, en cambio, quiere ver las llamadas LLM en el contexto del resto: servicio llamante, base de datos, infraestructura, despliegues. Ese es el papel de un backend generalista compatible con OTLP, como Dynatrace. OpenTelemetry permite alimentar ambos a partir de una sola instrumentación.
Arquitectura: una instrumentación, dos destinos
- La aplicación se instrumenta con OpenLLMetry.
- Los spans salen en OTLP hacia un OpenTelemetry Collector.
- El Collector los envía a la vez a Langfuse (análisis LLM) y al backend de observabilidad (vista de extremo a extremo).
El Collector centraliza los secretos, permite filtrar u ocultar atributos sensibles (los prompts pueden contener datos personales) y evita acoplar la aplicación a un proveedor.
En la práctica: trazar una aplicación LLM con OpenTelemetry
Paso 1: instrumentar la aplicación
pip install traceloop-sdk
from traceloop.sdk import Traceloop
from traceloop.sdk.decorators import workflow
Traceloop.init(app_name="assistant-runbooks")
@workflow(name="repondre_question")
def repondre(question: str) -> str:
# appels au LLM, au retriever, etc. : instrumentés automatiquement
...
Los decoradores (workflow, task, agent, tool) agrupan los spans automáticos bajo etapas con nombre. En desarrollo, la opción disable_batch=True envía los spans de inmediato.
Paso 2: apuntar al Collector
El SDK lee su destino de variables de entorno. Para un Collector local en OTLP/HTTP:
export TRACELOOP_BASE_URL="http://otel-collector:4318"
# ne pas collecter le contenu des prompts et réponses :
export TRACELOOP_TRACE_CONTENT=false
Comprueba en la documentación de OpenLLMetry el comportamiento exacto de esta variable y de TRACELOOP_HEADERS, así como las opciones de privacidad.
Paso 3: configurar el Collector para dos destinos
receivers:
otlp:
protocols:
http:
endpoint: 0.0.0.0:4318
processors:
batch: {}
exporters:
otlphttp/langfuse:
endpoint: "https://langfuse.interne/api/public/otel"
headers:
Authorization: "Basic ${env:LANGFUSE_AUTH}"
otlphttp/dynatrace:
endpoint: "https://${env:DT_ENV_ID}.live.dynatrace.com/api/v2/otlp"
headers:
Authorization: "Api-Token ${env:DT_API_TOKEN}"
service:
pipelines:
traces:
receivers: [otlp]
processors: [batch]
exporters: [otlphttp/langfuse, otlphttp/dynatrace]
LANGFUSE_AUTH es la codificación en base64 de clé_publique:clé_secrète del proyecto Langfuse. El token de Dynatrace debe tener el permiso de ingesta de trazas de OpenTelemetry. Langfuse puede pedir cabeceras adicionales según su versión: la documentación de Langfuse es la referencia.
Paso 4: verificar en las dos herramientas
En Langfuse, cada petición aparece como una traza con sus generaciones, su coste estimado y el contenido de los prompts. En el backend de observabilidad, los mismos spans se insertan en la traza distribuida del servicio llamante. Para relacionar bien el clic del usuario, el servicio y la llamada al LLM, consulta OpenTelemetry de extremo a extremo.
Paso 5: definir los indicadores a seguir
- latencia por etapa (recuperación, generación, herramientas) y total;
- tokens de entrada y de salida por petición, por modelo y por funcionalidad;
- tasa de errores y de tiempos de espera agotados en las llamadas al modelo;
- puntuaciones de calidad (evaluaciones, comentarios de usuarios) seguidas en Langfuse.
Para los agentes que llaman a herramientas mediante MCP, el enfoque es el mismo: consulta observar agentes MCP con OpenTelemetry.
Observabilidad LLM con Langfuse: ¿qué revela una traza bien instrumentada?
Con las trazas en marcha se hacen posibles varios diagnósticos:
- La respuesta es falsa: la traza muestra si el retriever trajo los documentos correctos. Si es así, el problema está en el prompt o en el modelo; si no, en la indexación.
- La latencia se ha duplicado: se ve de inmediato si es la generación (prompt más largo, modelo más lento), una herramienta externa o la base de datos vectorial.
- Los costes derivan: el número de tokens por petición revela un contexto que crece, un bucle de agente o un historial de conversación que nunca se trunca.
- Un agente da vueltas en círculo: la repetición de las mismas llamadas a herramientas salta a la vista en el árbol de spans.
Buenas prácticas
- Decide de forma explícita si se recoge el contenido de los prompts y de las respuestas; ocúltalo en el Collector si es necesario.
- Rellena
service.namey el entorno para distinguir producción y pruebas. - Añade un identificador de sesión o de usuario (seudonimizado) para agrupar las trazas.
- Muestrea las trazas de gran volumen, pero conserva los errores.
- Fija las versiones de las instrumentaciones: los atributos
gen_ai.*aún evolucionan. - Monitoriza el propio Collector: si cae, pierdes visibilidad en ambos destinos.
Preguntas frecuentes
¿Hay que usar el SDK de Langfuse o OpenLLMetry?
El SDK de Langfuse es el camino más directo si Langfuse es el único destino. OpenLLMetry, o cualquier instrumentación estándar de OpenTelemetry, es preferible si las trazas deben alimentar también otros backends.
¿Langfuse sustituye a una herramienta de observabilidad?
No. Langfuse se centra en la aplicación LLM (prompts, costes, evaluaciones). La infraestructura, los demás servicios y los SLO siguen siendo cosa de un backend generalista.
¿Se puede trazar un modelo servido en local?
Sí. OpenLLMetry instrumenta, entre otros, el cliente de Ollama y las API compatibles con OpenAI; en el lado del servidor, consulta monitorizar Ollama para las métricas de inferencia.
Conclusión
Langfuse y OpenLLMetry forman un dúo coherente: una instrumentación estándar por un lado, un análisis especializado por otro, unidos por OpenTelemetry. Al poner un Collector en medio, la misma traza sirve tanto al equipo que mejora los prompts como al equipo que garantiza la fiabilidad del servicio.
span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC ni a los proyectos citados. Las marcas citadas pertenecen a sus propietarios. Las herramientas evolucionan rápido: comprueba siempre los comandos y las opciones en su documentación oficial.