Stack de IA autoalojada de código abierto: comparativa de los componentes de una infraestructura de IA propia

Comparativa de una stack de IA autoalojada de código abierto: Ollama, vLLM, Open WebUI, LlamaIndex, CrewAI, Dify, n8n, Langfuse y combinaciones.
Stack IA open source auto-hébergée : le comparatif des briques d'une infrastructure IA auto-hébergée

Construir una stack de IA autoalojada de código abierto ya no está reservado a los equipos de investigación. En 2026, un equipo de operaciones puede ejecutar un LLM en sus propios servidores, ofrecer una interfaz de chat a sus compañeros, conectar un RAG a su documentación, automatizar el triaje de alertas y trazar cada llamada, sin que ningún dato salga de su infraestructura. Esta guía compara, capa por capa, los componentes de esa infraestructura de IA propia.

La dificultad ya no es encontrar herramientas, sino elegir entre ellas. Ollama, vLLM, llama.cpp, Open WebUI, LangChain, LlamaIndex, CrewAI, Dify, n8n, Langfuse, Phoenix: cada proyecto tiene su lugar, pero no necesariamente en tu contexto. Y cada componente añadido es un servicio más que desplegar, actualizar, proteger y monitorizar.

Esta guía pilar organiza esos proyectos en cinco capas, compara sus puntos fuertes y sus límites en una tabla y propone después combinaciones tipo. Cada componente cuenta con un artículo dedicado, enlazado más abajo, con un paso a paso y consejos de explotación.

Las cinco capas de una stack de IA autoalojada de código abierto

  1. Inferencia: el servidor que carga el modelo y responde a las peticiones (Ollama, vLLM, llama.cpp).
  2. Interfaz: la aplicación de chat para los usuarios (Open WebUI).
  3. Frameworks: las bibliotecas para construir RAG y agentes (LangChain/LangGraph, LlamaIndex, CrewAI, AutoGen).
  4. Workflows: las plataformas visuales para orquestar procesamientos (Dify, n8n).
  5. Observabilidad: la recopilación y el análisis de las trazas de LLM (Langfuse, OpenLLMetry, Phoenix).

El nexo entre estas capas es doble: la API compatible con OpenAI, que la mayoría de los servidores de inferencia exponen y que la mayoría de los clientes saben consumir, y OpenTelemetry, que permite seguir una petición de una capa a otra.

La tabla comparativa

Componente Capa Puntos fuertes Puntos de atención Artículo dedicado
Ollama Inferencia Instalación con un solo comando, catálogo de modelos, API sencilla Pensado para el puesto de trabajo o el servidor pequeño; concurrencia limitada Ollama
vLLM Inferencia Alto rendimiento en GPU, API compatible con OpenAI, métricas de Prometheus Exige GPU y un ajuste de la memoria vLLM
llama.cpp Inferencia Ligero, CPU o GPU, formato GGUF, cuantización De más bajo nivel; hay que industrializarlo por tu cuenta llama.cpp
Open WebUI Interfaz Interfaz de chat completa, multiusuario, RAG integrado Licencia propia del proyecto, conviene leerla; la gestión de cuentas requiere definir un marco Open WebUI
LangChain / LangGraph Framework Ecosistema de integraciones, grafos de agentes con estado Muchas abstracciones, cambios frecuentes LangChain y LangGraph
LlamaIndex Framework Ingesta, indexación y evaluación de RAG Menos orientado a la orquestación de agentes complejos LlamaIndex
CrewAI Framework Multiagente por roles y tareas, muy legible Telemetría de uso activada por defecto CrewAI y AutoGen
AutoGen Framework Agentes conversacionales, trazado nativo con OpenTelemetry En modo de mantenimiento, sucesor anunciado por Microsoft CrewAI y AutoGen
Dify Workflows Aplicaciones LLM, RAG y agentes en modo visual, API por aplicación Licencia Apache 2.0 modificada, con condiciones Dify y n8n
n8n Workflows Cientos de conectores, webhooks, nodos de IA Licencia «fair-code», con restricciones comerciales Dify y n8n
Langfuse Observabilidad Trazas de LLM, prompts, costes, evaluaciones; recepción OTLP Varios componentes que operar en autoalojamiento Langfuse y OpenLLMetry
OpenLLMetry Observabilidad Instrumentaciones de OpenTelemetry para LLM, bases de datos vectoriales y frameworks Convenciones gen_ai.* todavía en evolución Langfuse y OpenLLMetry
Phoenix Observabilidad Trazas y evaluaciones, basado en OpenTelemetry y OpenInference Licencia Elastic License 2.0 Observabilidad de la IA

Esta tabla resume tendencias, no benchmarks: el rendimiento depende del modelo, del hardware y de la carga. Mide en tu propio contexto.

Infraestructura de IA autoalojada: ¿cómo elegir la capa de inferencia?

Es la decisión más estructurante, porque condiciona el hardware:

  • Un puesto de trabajo, un equipo pequeño, pruebas: Ollama, por su sencillez.
  • Un servicio compartido en GPU con muchos usuarios simultáneos: vLLM, diseñado para el rendimiento y la eficiencia de memoria.
  • Hardware modesto, CPU, sistemas embebidos o un entorno aislado: llama.cpp y su servidor integrado, con modelos cuantizados.

Como los tres exponen una API compatible con OpenAI (Ollama ofrece además la suya), cambiar de servidor más adelante sigue siendo posible si los clientes se apoyan en esa API común. En Kubernetes, ten presentes las solicitudes de recursos: nuestro artículo sobre las solicitudes de CPU efectivas de los pods recuerda lo grande que puede ser la diferencia entre lo declarado y lo real, y las GPU son todavía menos compartibles.

¿Frameworks o plataforma de workflows?

Los frameworks (LangChain, LlamaIndex, CrewAI, AutoGen) se dirigen a desarrolladores: todo es código, comprobable y versionable, pero hay que escribir y mantener una aplicación. Las plataformas de workflows (Dify, n8n) se dirigen a perfiles más amplios: se ensambla de forma visual, se publica una API, pero se depende de la herramienta y de su modelo de ejecución.

Una regla sencilla: si el núcleo de la necesidad es un procesamiento de negocio específico con pruebas, un framework; si es la integración entre sistemas existentes con una etapa de IA, una plataforma de workflows. Los dos suelen convivir.

Por qué la observabilidad no es opcional

Una stack de IA autoalojada acumula los riesgos de un servicio clásico (caídas, saturación, latencia) y los propios de los LLM (respuestas falsas, bucles de agentes, explosión de tokens, fuga de datos en los prompts). Hacen falta, por tanto, dos niveles de observación:

  • Infraestructura y servicio: GPU, memoria, colas del servidor de inferencia, latencia, errores, disponibilidad de cada componente;
  • Aplicación LLM: trazas de las llamadas, documentos recuperados, tokens, puntuaciones de calidad.

OpenLLMetry u OpenInference producen las trazas, Langfuse o Phoenix las analizan desde el punto de vista del LLM, y un backend generalista compatible con OTLP lo conecta todo con el resto del sistema. Nuestro pilar sobre la observabilidad de la IA detalla este enfoque, y los requisitos SRE de las cargas de IA precisan sus restricciones.

En la práctica: tres combinaciones tipo

Paso 1: el kit de inicio (una máquina)

Ollama + Open WebUI, opcionalmente con el RAG integrado de Open WebUI. Objetivo: que el equipo descubra la IA local y recopilar casos de uso. Qué monitorizar: disponibilidad, memoria, tiempo de respuesta.

# exemple indicatif : vérifier que le serveur Ollama répond
curl http://localhost:11434/api/tags

Paso 2: el asistente de ops (un servidor con GPU)

vLLM para la inferencia compartida, Open WebUI como interfaz, un RAG de LlamaIndex sobre los runbooks expuesto como API, n8n para el triaje de alertas y OpenLLMetry hacia Langfuse. Objetivo: un primer servicio interno con un SLO de disponibilidad y de latencia.

Paso 3: la plataforma de IA interna (Kubernetes)

Varios modelos servidos por vLLM detrás de una pasarela, Dify para los equipos de negocio, LangGraph o CrewAI para los agentes desarrollados internamente y un OpenTelemetry Collector central que envía las trazas a Langfuse o Phoenix y al backend de observabilidad de la empresa. Objetivo: un producto de plataforma, con catálogo, cuotas y seguimiento de costes. Consulta también nuestro artículo sobre los desafíos del platform engineering.

En cada paso, añade un componente solo cuando una necesidad medida lo justifique.

Buenas prácticas

  • Lee las licencias: varios de los proyectos citados no tienen una licencia de código abierto «clásica» (Dify, n8n, Open WebUI, Phoenix).
  • Estandariza los clientes sobre la API compatible con OpenAI para conservar la libertad de cambiar de servidor.
  • Instrumenta con OpenTelemetry desde el prototipo y centraliza mediante un Collector.
  • Fija las versiones de las imágenes y de los modelos; prueba las actualizaciones con un conjunto de casos de referencia.
  • Coloca todas las interfaces detrás de una autenticación corporativa y un reverse proxy con TLS.
  • Expón las herramientas a los agentes con moderación, eventualmente mediante MCP, y en solo lectura por defecto.
  • Sigue los costes: GPU, almacenamiento de las trazas y tiempo humano de explotación.

Preguntas frecuentes

¿Es una stack de IA autoalojada más barata que una API en la nube?

No necesariamente. Resulta interesante con un uso sostenido, con requisitos de confidencialidad o con la necesidad de funcionar sin conexión. Hay que contar el hardware, la energía y, sobre todo, el tiempo de explotación.

¿Qué modelo elegir para empezar?

Un modelo generalista de tamaño medio, distribuido con una licencia compatible con tu uso y disponible en el formato de tu servidor de inferencia. Después, compara unos pocos candidatos con tus propias preguntas en lugar de fiarte de clasificaciones públicas.

¿Hay que autoalojarlo todo, incluida la observabilidad?

No es obligatorio. Langfuse y Phoenix se pueden autoalojar, pero las trazas también pueden ir a un servicio gestionado si los prompts se enmascaran en el Collector. Lo esencial es decidir de forma consciente adónde van los datos.

Conclusión

Una stack de IA autoalojada de código abierto se construye por capas: inferencia, interfaz, frameworks, workflows y observabilidad. No existe una combinación universal, sino un método: empezar poco a poco, estandarizar sobre interfaces abiertas (API compatible con OpenAI, OpenTelemetry), medir y añadir componentes cuando la necesidad esté demostrada. Los artículos satélite de esta serie detallan cada uno de ellos.

Para profundizar en cada proyecto, consulta su documentación oficial, por ejemplo la de vLLM o la de Phoenix.

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC ni a los proyectos citados. Las marcas citadas pertenecen a sus propietarios. Las herramientas evolucionan rápido: comprueba los comandos y las opciones en su documentación oficial.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
CrewAI/AutoGen : construire des systèmes multi-agents, et l'observabilité CrewAI avec OpenTelemetry

CrewAI y AutoGen: sistemas multiagente y observabilidad de CrewAI con OpenTelemetry

Next Post
Formation Dynatrace Managed : le parcours complet en 8 modules

Formación Dynatrace Managed: un curso gratuito de Dynatrace en 8 módulos

Related Posts