Browsing Tag
vLLM
8 posts
Ollama vLLM llama.cpp : quel moteur local choisir pour vos LLM ?
Ollama vLLM llama.cpp : comparez ces trois moteurs d'inférence locaux selon l'usage, le matériel et la supervision (métriques, santé, traces).
vLLM inférence LLM : installer et superviser le serveur
vLLM inférence LLM open source : installation d'après la documentation, architecture, métriques de service (file, cache KV, TTFT) et traces OpenTelemetry.
Comparatif LLM open source : licence, taille, VRAM et débit mesuré sur vLLM et Ollama
Comparatif LLM open source : licence, paramètres, mémoire GPU et étiquettes Ollama de 8 modèles vérifiés, et méthode pour mesurer le débit sur vLLM.
Choisir son LLM en octobre 2026 : les critères d’exploitation avant les benchmarks
Choisir son LLM en 2026 sur des critères d'exploitation : latence, hébergement, RGPD, observabilité OpenTelemetry et coût par tâche, avec un pilote.
ONLYOFFICE IA locale avec Ollama ou vLLM : architecture, configuration et supervision
ONLYOFFICE IA locale : branchez Docs 10.0 sur Ollama ou vLLM, réglez aiSettings et le relais /ai-proxy, puis supervisez TTFT et StatsD avec OpenTelemetry.
Mistral Large 4 en auto-hébergement : ce qui est publié, dimensionnement et supervision
Mistral Large 4 en auto-hébergement : poids pas encore publiés, mémoire à prévoir pour 1 000 milliards de paramètres et supervision vLLM multi-GPU.
Stack IA open source auto-hébergée : le comparatif des briques d’une infrastructure IA auto-hébergée
Comparatif des briques d'une stack IA open source auto-hébergée : Ollama, vLLM, Open WebUI, LlamaIndex, CrewAI, Dify, n8n, Langfuse et assemblages types.
vLLM production : serveur compatible OpenAI, métriques Prometheus et supervision des GPU
vLLM production : déployez un serveur compatible OpenAI et suivez file d'attente, KV cache, TTFT et GPU avec Prometheus, OpenTelemetry et Dynatrace.