Browsing Tag
llama.cpp
3 posts
Ollama vLLM llama.cpp: ¿qué motor local elegir para tus LLM?
Ollama vLLM llama.cpp: compara estos tres motores de inferencia locales según el uso, el hardware y la supervisión (métricas, salud, trazas).
Jan alternativa a ChatGPT de código abierto: IA local sin conexión
Jan alternativa a ChatGPT de código abierto: IA local sin conexión, servidor compatible con OpenAI en localhost:1337, instalación, límites y supervisión.
llama.cpp: inferencia local en CPU y GPU, modelos GGUF y servidor HTTP integrado
Compila llama.cpp, sirve un modelo GGUF en CPU o GPU con llama-server compatible con OpenAI y monitorízalo: salud, métricas de Prometheus y logs.