CrewAI y AutoGen: sistemas multiagente y observabilidad de CrewAI con OpenTelemetry

CrewAI y AutoGen para sistemas multiagente: modelos mentales, ejemplos en Python con Ollama, trazas OpenTelemetry e indicadores para observarlos.
CrewAI/AutoGen : construire des systèmes multi-agents, et l'observabilité CrewAI avec OpenTelemetry

CrewAI y AutoGen son dos frameworks de código abierto para construir sistemas multiagente: varios agentes especializados, cada uno con su rol, sus herramientas y a veces su modelo, que colaboran para cumplir una tarea. Para un equipo de operaciones la idea resulta atractiva: un agente que lee las alertas, otro que consulta los logs y un tercero que redacta la síntesis. Falta elegir la herramienta: de eso trata esta comparativa de CrewAI y AutoGen, que termina con la observabilidad de CrewAI: trazar lo que hace cada agente.

Pero un sistema multiagente también multiplica las fuentes de incertidumbre. Los agentes se intercambian mensajes, llaman a herramientas, vuelven a consultar el modelo, y una sola tarea puede desencadenar decenas de llamadas. Sin una observación fina es imposible saber por qué un resultado es incorrecto, por qué la tarea tardó dos minutos o por qué la factura de tokens se triplicó.

Este artículo presenta los dos frameworks, su modelo mental, un ejemplo concreto de cada uno y después la forma de observarlos con OpenTelemetry. Forma parte de nuestra comparativa del stack de IA de código abierto autoalojado.

CrewAI y AutoGen: dos modelos mentales

CrewAI: un equipo con roles y tareas

CrewAI es un framework de Python que organiza el trabajo como un equipo. Se definen agentes (un rol, un objetivo, un contexto llamado backstory, herramientas), tareas (una descripción y un resultado esperado, asignadas a un agente) y una crew que las ejecuta según un proceso: secuencial, o jerárquico con un agente gestor. CrewAI ofrece además los Flows, para encadenar etapas de forma más determinista y dirigida por eventos.

Este modelo es muy legible: describes una organización, no un grafo. Encaja bien con cadenas de procesamiento de etapas conocidas.

AutoGen: agentes que conversan

AutoGen, procedente de Microsoft Research, modela la colaboración como una conversación. Desde su reescritura (v0.4) se organiza en capas: autogen-core (runtime de agentes dirigido por mensajes), autogen-agentchat (API de alto nivel: AssistantAgent, equipos como RoundRobinGroupChat o SelectorGroupChat, condiciones de parada) y autogen-ext (clientes de modelos, herramientas, MCP).

Un punto importante antes de empezar un proyecto: el repositorio de AutoGen indica ahora que el proyecto está en modo de mantenimiento y dirige a los nuevos usuarios hacia Microsoft Agent Framework, presentado como su sucesor, con una guía de migración. AutoGen sigue siendo utilizable e instructivo, pero para un desarrollo nuevo conviene evaluar ese sucesor. Existe también AG2, un proyecto comunitario derivado de la rama histórica de AutoGen.

¿Cuándo está justificado un sistema multiagente?

A menudo basta un solo agente con buenas herramientas, o incluso un workflow determinista. El enfoque multiagente se justifica cuando:

  • las subtareas requieren contextos o prompts muy distintos;
  • quieres una revisión cruzada (un agente redacta, otro critica);
  • quieres limitar las herramientas accesibles a cada agente, por motivos de seguridad.

Cada agente adicional añade latencia, coste y puntos de fallo. Empieza por lo simple y después mide.

En la práctica: un dúo de agentes de análisis de incidentes y la observabilidad de CrewAI

Paso 1: con CrewAI

Instálalo con pip install crewai. Para un modelo local mediante Ollama, CrewAI se apoya en LiteLLM, que según la versión puede necesitar una dependencia adicional (consulta la documentación de CrewAI).

from crewai import Agent, Task, Crew, Process, LLM

llm = LLM(model="ollama/llama3.1", base_url="http://localhost:11434")

analyste = Agent(
    role="Analyste d'incident",
    goal="Identifier la cause probable à partir des logs fournis",
    backstory="SRE expérimenté, factuel, cite les lignes de log.",
    llm=llm)
redacteur = Agent(
    role="Rédacteur",
    goal="Produire une synthèse claire pour l'astreinte",
    backstory="Écrit des comptes rendus courts et actionnables.",
    llm=llm)

analyse = Task(description="Analyse ces logs : {logs}",
               expected_output="Cause probable et preuves", agent=analyste)
synthese = Task(description="Rédige la synthèse de l'incident",
                expected_output="5 lignes maximum", agent=redacteur)

crew = Crew(agents=[analyste, redacteur], tasks=[analyse, synthese],
            process=Process.sequential)
print(crew.kickoff(inputs={"logs": extrait_logs}))

Paso 2: con AutoGen AgentChat

Instálalo con pip install -U "autogen-agentchat" "autogen-ext[ollama]".

import asyncio
from autogen_agentchat.agents import AssistantAgent
from autogen_agentchat.teams import RoundRobinGroupChat
from autogen_agentchat.conditions import MaxMessageTermination
from autogen_ext.models.ollama import OllamaChatCompletionClient

async def main():
    client = OllamaChatCompletionClient(model="llama3.1")
    analyste = AssistantAgent("analyste", model_client=client,
        system_message="Identifie la cause probable dans les logs.")
    relecteur = AssistantAgent("relecteur", model_client=client,
        system_message="Critique l'analyse et signale les hypothèses non prouvées.")
    equipe = RoundRobinGroupChat([analyste, relecteur],
        termination_condition=MaxMessageTermination(6))
    print(await equipe.run(task="Logs : ..."))
    await client.close()

asyncio.run(main())

Fíjate en la condición de parada: sin ella, una conversación entre agentes puede prolongarse mucho más de lo previsto.

Paso 3: activar las trazas de OpenTelemetry

  • AutoGen: la documentación describe un trazado nativo. Basta configurar un TracerProvider global de OpenTelemetry (con un exportador OTLP) antes de crear los agentes; se pueden añadir las instrumentaciones de los clientes de modelos.
  • CrewAI: OpenLLMetry ofrece una instrumentación para CrewAI, y la documentación de CrewAI enumera varias integraciones de observabilidad (Langfuse, Arize Phoenix, OpenLIT, etc.).

El detalle de la cadena OpenLLMetry, Collector y backend se explica en Langfuse y OpenLLMetry. Los principios coinciden con los de la observación de agentes MCP, y los spans de los agentes pueden engancharse a la traza del servicio que los llama, como se describe en OpenTelemetry de extremo a extremo.

Conviene saber que CrewAI recopila por defecto telemetría de uso anónima para sus mantenedores; su README indica que se desactiva con OTEL_SDK_DISABLED=true. Ten cuidado: esta variable desactiva el SDK de OpenTelemetry en todo el proceso, y por tanto también tus propias trazas. Comprueba la interacción en la documentación antes de usarla.

Paso 4: elegir los indicadores

  • número de llamadas al modelo y de turnos de conversación por tarea;
  • tokens consumidos por agente y por tarea;
  • latencia por agente y por llamada a herramienta;
  • tasa de tareas detenidas por la condición de guarda en lugar de terminar con normalidad;
  • errores de herramientas y reintentos.

Estas mediciones alimentan después SLO como en cualquier servicio; consulta IA y fiabilidad SRE.

Buenas prácticas

  • Fija siempre un límite de turnos, de duración o de tokens por tarea.
  • Da a cada agente solo las herramientas que necesita, en solo lectura por defecto.
  • Exige salidas estructuradas entre agentes para limitar la deriva del contexto.
  • Mantén a una persona en el circuito para cualquier acción sobre producción.
  • Vuelve a ejecutar un conjunto de casos de referencia en cada cambio de prompt o de modelo.
  • Pon nombres claros a agentes y tareas: esos nombres son los que aparecerán en las trazas.

Preguntas frecuentes

CrewAI vs AutoGen: ¿cuál elegir?

CrewAI para procesos de etapas conocidas, descritos como un equipo con roles. AutoGen para conversaciones abiertas entre agentes, teniendo en cuenta que ha pasado a modo de mantenimiento y que se ha anunciado un sucesor.

¿Estos frameworks funcionan con modelos locales?

Sí, ambos pueden usar Ollama o un servidor compatible con OpenAI. Eso sí, los modelos pequeños siguen peor las instrucciones de rol y de llamada a herramientas: prueba antes de generalizar.

¿Cómo detectar un agente que entra en bucle?

En las trazas: número de turnos anómalo, llamadas a herramientas repetidas con los mismos argumentos, tokens en fuerte aumento. Una alerta sobre estos indicadores detecta el problema antes de que llegue la factura.

Conclusión

CrewAI y AutoGen hacen accesibles los sistemas multiagente, con dos filosofías distintas: el equipo organizado y la conversación. En ambos casos, el valor en producción depende de la capacidad de observar lo que hacen los agentes, de acotar su comportamiento y de medir su coste. Instrumenta desde el primer prototipo.

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC ni a los proyectos citados. Las marcas citadas pertenecen a sus propietarios. Las herramientas evolucionan rápido: comprueba los comandos y las opciones en su documentación oficial.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Langfuse et OpenLLMetry : l'observabilité LLM de vos applications avec OpenTelemetry

Langfuse y OpenLLMetry: la observabilidad LLM de tus aplicaciones con OpenTelemetry

Next Post
Stack IA open source auto-hébergée : le comparatif des briques d'une infrastructure IA auto-hébergée

Stack de IA autoalojada de código abierto: comparativa de los componentes de una infraestructura de IA propia

Related Posts