Browsing Tag
LLM
36 posts
Modelo MoE local: lo que Colibri le pide a tu disco
Modelo MoE local con Colibri: RAM, disco NVMe, velocidades publicadas y supervisión con /metrics. Lo que dice el README antes de bajar 400 GB.
traceroot observabilidad agentes IA: licencia, arranque y límites
traceroot observabilidad agentes IA: trazas, detectores y costes, arranque con Docker en 4 comandos, licencia Apache 2.0 y zona Enterprise.
OpenInference Dynatrace: trazas de IA hasta Dynatrace con el Collector
OpenInference Dynatrace: ¿dónde traducir tus trazas de IA a gen_ai.*? Configura el Collector de OpenTelemetry y comprueba con DQL en Dynatrace SaaS.
Ollama vLLM llama.cpp: ¿qué motor local elegir para tus LLM?
Ollama vLLM llama.cpp: compara estos tres motores de inferencia locales según el uso, el hardware y la supervisión (métricas, salud, trazas).
Fidelidad RAG: evaluar un RAG y entender los límites de la métrica
Fidelidad RAG con Ragas y LlamaIndex: qué mide la puntuación, cómo interpretarla y por qué una respuesta fiel puede seguir siendo falsa en una guardia.
Pasarela LLM: seguir los costes con LiteLLM y Helicone
Pasarela LLM: atribuir el coste de tokens por equipo con LiteLLM (claves virtuales, Prometheus) o Helicone y exportar por OTLP a Dynatrace.
Jan alternativa a ChatGPT de código abierto: IA local sin conexión
Jan alternativa a ChatGPT de código abierto: IA local sin conexión, servidor compatible con OpenAI en localhost:1337, instalación, límites y supervisión.
context-mode ventana de contexto de agentes: licencia ELv2 y medición
context-mode ventana de contexto de agentes: sandbox, FTS5 y hooks, licencia ELv2 (código disponible, no abierto) y medición de tokens con OpenTelemetry.
Selecto AI Windows: una barra de acciones sobre el texto seleccionado
Selecto AI Windows añade una barra de acciones al texto seleccionado: buscar, traducir, resumir y corregir con una IA local Ollama o tu clave de API.
AI engineering from scratch: la ruta de aprendizaje de IA del repositorio
AI engineering from scratch: 542 lecciones con licencia MIT, tres formas de empezar y un taller de trazas de agentes para equipos SRE.