Browsing Tag
GPU
13 posts
Modèle MoE local : ce que Colibri demande à votre disque
Modèle MoE local avec Colibri : RAM, disque NVMe, vitesses publiées et supervision via /metrics. Ce que dit le README avant de télécharger 400 Go.
vLLM inférence LLM : installer et superviser le serveur
vLLM inférence LLM open source : installation d'après la documentation, architecture, métriques de service (file, cache KV, TTFT) et traces OpenTelemetry.
EffectCraft motion graphics open source : visite et limites
EffectCraft motion graphics open source en Rust : licence, captures, installation d'après le README, limites de l'alpha et mesures utiles sur le poste.
VectorCraft dessin vectoriel open source : visite et limites
VectorCraft dessin vectoriel open source en Rust : licence, captures, installation d'après le README, limites de l'alpha et mesures utiles sur le poste.
LightCraft retouche photo non destructive : l’essentiel
LightCraft retouche photo non destructive en Rust : licence, captures, installation d'après le README, limites de l'alpha et mesures utiles sur le poste.
FilmCraft montage vidéo open source : visite et limites
FilmCraft montage vidéo open source en Rust : licence, captures, installation d'après le README, limites de l'alpha et mesures utiles sur le poste.
Comparatif LLM open source : licence, taille, VRAM et débit mesuré sur vLLM et Ollama
Comparatif LLM open source : licence, paramètres, mémoire GPU et étiquettes Ollama de 8 modèles vérifiés, et méthode pour mesurer le débit sur vLLM.
Mistral Large 4 en auto-hébergement : ce qui est publié, dimensionnement et supervision
Mistral Large 4 en auto-hébergement : poids pas encore publiés, mémoire à prévoir pour 1 000 milliards de paramètres et supervision vLLM multi-GPU.
Stack IA open source auto-hébergée : le comparatif des briques d’une infrastructure IA auto-hébergée
Comparatif des briques d'une stack IA open source auto-hébergée : Ollama, vLLM, Open WebUI, LlamaIndex, CrewAI, Dify, n8n, Langfuse et assemblages types.
llama.cpp : inférence locale sur CPU et GPU, modèles GGUF et serveur HTTP intégré
Compilez llama.cpp, servez un modèle GGUF sur CPU ou GPU avec llama-server compatible OpenAI, puis supervisez-le : santé, métriques Prometheus, logs.