Elegir un LLM en octubre de 2026: los criterios de operación antes que los benchmarks

Elegir un LLM en 2026 con criterios de operación: latencia, alojamiento, RGPD, observabilidad con OpenTelemetry y coste por tarea, con un piloto.
Choisir son LLM en octobre 2026 : les critères d'exploitation avant les benchmarks

Elegir un LLM en octubre de 2026 fiándose de las clasificaciones públicas equivale a elegir un servidor por su ficha comercial. Los benchmarks miden un modelo aislado, con preguntas que no son las tuyas, sin red, sin cuotas y sin restricciones de localización de los datos. Lo que tumba un servicio en producción está en otra parte: una latencia del primer token que se duplica en las horas punta, un proveedor que trata los datos fuera de la Unión Europea, una instrumentación imposible de conectar a la monitorización existente.

Este artículo propone una cuadrícula de decisión centrada en la operación: latencia, alojamiento, RGPD, observabilidad y coste. No ofrece ninguna clasificación y no cita ningún precio: las tarifas cambian con demasiada frecuencia y deben leerse en las páginas de los proveedores el día de la decisión. Las características citadas proceden de las documentaciones oficiales consultadas en octubre de 2026.

El método propuesto termina con un piloto instrumentado con OpenTelemetry, que compara los modelos candidatos con tus propias consultas. Para el marco general, consulta nuestro artículo principal sobre la observabilidad de la IA.

Por qué los benchmarks no bastan

Un benchmark responde a la pregunta «¿sabe hacerlo este modelo?». La operación plantea otras: ¿responde lo bastante rápido en el percentil 95?, ¿qué ocurre cuando el proveedor limita el caudal?, ¿dónde se tratan los datos?, ¿se puede ver cada llamada en una traza?, ¿cuánto cuesta una tarea completa y no solo un millón de tokens? Dos modelos cercanos en la clasificación pueden tener perfiles de operación muy distintos. Las exigencias SRE de las cargas de IA se aplican desde la elección del modelo.

Elegir un LLM: la cuadrícula de criterios de operación

1. Latencia: primer token, rendimiento, cola de espera

En una interfaz conversacional, el tiempo hasta el primer token (TTFT) cuenta más que la duración total. En un agente que encadena diez llamadas, lo que cuenta es la duración de extremo a extremo. Mide ambas, en el percentil 95, en hora punta.

Esquema de la documentación de vLLM: intervalos TTFT, cola de espera, prefill, latencia entre tokens, decode e inferencia entre la llegada de una petición y su último token, con una preempción durante el decode
Source : github.com

El esquema anterior, tomado de la documentación de diseño de vLLM, muestra lo que contiene un TTFT: cola de espera, prefill y después generación. En un modelo autoalojado, vLLM expone estos intervalos como métricas de Prometheus (vllm:time_to_first_token_seconds, vllm:inter_token_latency_seconds, vllm:request_queue_time_seconds, vllm:e2e_request_latency_seconds). Consulta vLLM en producción.

2. Alojamiento: API, nube o autoalojado

  • API del proveedor: nada que operar en el lado de la GPU, pero una dependencia externa con sus cuotas y sus incidentes.
  • Modelo a través de un hyperscaler: la región queda fijada por el punto de conexión. La documentación de Anthropic precisa, por ejemplo, que en Amazon Bedrock y Google Cloud la región de inferencia la determina la URL del punto de conexión o el perfil de inferencia.
  • Autoalojado: requiere un modelo de pesos abiertos y una licencia compatible. Mistral publica, en su lista de modelos, la licencia de cada uno: Mistral Small 4 y la familia Ministral 3 (3B, 8B, 14B) están bajo Apache 2.0, y Mistral Medium 3.5 bajo una licencia MIT modificada. vLLM sirve estos modelos detrás de un servidor compatible con la API de OpenAI (vllm serve), y Ollama cubre los usos más ligeros.

3. RGPD y localización de los datos

Los tres proveedores consultados ofrecen controles, con condiciones diferentes:

  • Mistral AI: según su centro de ayuda, los datos se alojan por defecto en la Unión Europea; el uso explícito del punto de conexión estadounidense los aloja en Estados Unidos. Algunas funciones pueden transferir temporalmente datos fuera de la UE, hacia los subencargados listados en su Trust Center.
  • OpenAI: los controles de residencia de datos son una opción de proyecto, sujeta a elegibilidad ante el equipo comercial. La región Europa (EEE + Suiza) usa eu.api.openai.com. La documentación menciona un recargo del 10 % en estos puntos de conexión para los modelos elegibles lanzados a partir del 5 de marzo de 2026, y excluye los datos del sistema (cuenta, facturación, estadísticas de uso).
  • Anthropic: el parámetro inference_geo elige dónde se ejecuta la inferencia (global por defecto, o us), en los modelos Claude 4.6 y posteriores; la geografía de almacenamiento del espacio de trabajo es hoy únicamente us.

Comprueba estas condiciones en el contrato y en el acuerdo de tratamiento de datos (DPA): una página de documentación no sustituye el criterio de tu DPO.

4. Observabilidad

Un modelo que no se puede trazar es un modelo que no se puede operar. Preguntas que conviene hacerse: ¿existe una instrumentación de OpenTelemetry para su SDK (OpenLLMetry, OpenLIT, instrumentación del framework)? ¿La respuesta de la API devuelve el uso en tokens? Anthropic devuelve incluso, en el objeto usage, un campo inference_geo que indica dónde se ejecutó la inferencia: útil para demostrar la localización. Las convenciones GenAI de OpenTelemetry prevén valores conocidos para gen_ai.provider.name, entre ellos openai, anthropic, mistral, aws.bedrock, gcp.vertex_ai y azure.ai.openai. Por el lado de Dynatrace, la aplicación AI Observability cita OpenAI, Anthropic, Gemini, Amazon Bedrock, Azure AI Foundry y Vertex AI entre las plataformas cubiertas.

5. Coste por tarea, no por token

El precio público se expresa por millón de tokens; tu coste real depende del número de tokens que un modelo consume para completar una tarea, de los tokens de razonamiento, de la caché y de los recargos regionales. Una herramienta como Langfuse almacena los precios por modelo en definiciones y calcula el coste de cada generación a partir del uso real.

Pantalla Model Definitions de los ajustes de proyecto de Langfuse: nombre del modelo, patrón de coincidencia, precio por unidad y tokenizer de cada modelo
Source : github.com

En la práctica: un piloto instrumentado en cinco pasos

Paso 1: reunir un conjunto de consultas reales

Extrae entre 100 y 300 consultas representativas de tu uso, anonimizadas. Ese es tu propio benchmark.

Paso 2: instrumentar una sola vez

Pasa las consultas por el mismo código, instrumentado con OpenTelemetry, cambiando únicamente el modelo. Cada span lleva gen_ai.request.model, gen_ai.provider.name y gen_ai.usage.input_tokens / output_tokens.

Paso 3: comparar los modelos en Dynatrace SaaS

fetch spans
| filter gen_ai.operation.name == "chat"
| summarize requetes = count(),
            p95 = percentile(duration, 95),
            erreurs = countIf(span.status_code == "error"),
            entree_moy = avg(gen_ai.usage.input_tokens),
            sortie_moy = avg(gen_ai.usage.output_tokens),
            by:{gen_ai.request.model}

Esta consulta DQL es válida para Dynatrace SaaS (Grail). En Dynatrace Managed, sin DQL, haz la misma comparación en una herramienta de código abierto como Langfuse o mediante las métricas de tu pila de Prometheus.

Paso 4: puntuar la calidad

Pide a los usuarios del negocio que revisen una muestra de respuestas, o usa una evaluación automática. Un modelo rápido y barato que responde mal no es una buena elección.

Paso 5: decidir con una cuadrícula ponderada

Asigna un peso a cada criterio según el servicio: cumplimiento eliminatorio para datos de salud, TTFT prioritario para un asistente, coste por tarea prioritario para un procesamiento por lotes. Deja constancia del resultado: la elección habrá que repetirla dentro de seis meses.

Cómo comprobar que el piloto es fiable

  • Cada modelo ha recibido el mismo número de consultas (columna requetes).
  • Los totales de tokens concuerdan con la consola de uso de cada proveedor.
  • Las mediciones se han tomado en varios momentos, incluida la hora punta.

Buenas prácticas

  • Mantén una capa de abstracción (API compatible con OpenAI, pasarela) para poder cambiar de modelo sin reescribir la aplicación.
  • Prevé un modelo de respaldo y prueba el cambio.
  • Fija la versión exacta del modelo en producción; vigila gen_ai.response.model.
  • Relee la política de ciclo de vida del proveedor: un modelo retirado obliga a migrar.
  • Repite el piloto con cada versión importante nueva.

Preguntas frecuentes

¿Hace falta un modelo autoalojado para cumplir el RGPD?

No. Varios proveedores ofrecen tratamiento en Europa, bajo ciertas condiciones. El autoalojamiento da el control total, pero traspasa la operación de las GPU a tu equipo: consulta una pila de IA autoalojada.

¿Por qué no dar precios?

Porque cambian a menudo y dependen de la región, de la caché y del volumen. Mide el coste por tarea durante el piloto, con los precios del día.

¿Cuántos modelos conviene comparar?

Dos o tres bastan: un modelo puntero, un modelo más ligero y, si los datos lo exigen, un modelo de pesos abiertos autoalojado.

Conclusión

Elegir un LLM es elegir un componente de producción. La latencia en el percentil 95, la localización de los datos, la capacidad de trazar cada llamada y el coste por tarea deciden con más seguridad que el puesto en una clasificación. Un piloto instrumentado con OpenTelemetry, con tus propias consultas, convierte esa elección en una decisión medida y fácil de repetir.

span.observer es un blog independiente de la comunidad, no afiliado a Dynatrace LLC ni a los proyectos o proveedores citados. Las marcas citadas pertenecen a sus propietarios. Las ofertas evolucionan rápido: comprueba las condiciones y opciones en su documentación oficial.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Coût agent IA : mesurer tokens, appels d'outils et latence avec OpenTelemetry GenAI

Coste de un agente de IA: medir tokens, llamadas a herramientas y latencia con OpenTelemetry GenAI

Next Post
Comparatif LLM open source : licence, taille, VRAM et débit mesuré sur vLLM et Ollama

Comparativa de LLM de código abierto: licencia, tamaño, VRAM y rendimiento medido en vLLM y Ollama

Related Posts