Browsing Tag
llama.cpp
3 posts
Ollama vLLM llama.cpp : quel moteur local choisir pour vos LLM ?
Ollama vLLM llama.cpp : comparez ces trois moteurs d'inférence locaux selon l'usage, le matériel et la supervision (métriques, santé, traces).
Jan alternative ChatGPT open source : IA locale hors ligne
Jan alternative ChatGPT open source : IA locale hors ligne, serveur compatible OpenAI sur localhost:1337, installation, limites et supervision.
llama.cpp : inférence locale sur CPU et GPU, modèles GGUF et serveur HTTP intégré
Compilez llama.cpp, servez un modèle GGUF sur CPU ou GPU avec llama-server compatible OpenAI, puis supervisez-le : santé, métriques Prometheus, logs.