Browsing Tag
llama.cpp
3 posts
Ollama vLLM llama.cpp: أي محرك محلي تختار لنماذج LLM؟
Ollama vLLM llama.cpp: قارن بين محركات الاستدلال المحلية الثلاثة بحسب الاستخدام والعتاد والمراقبة (المقاييس والصحة والتتبعات).
Jan بديل ChatGPT مفتوح المصدر: ذكاء اصطناعي محلي دون اتصال
Jan بديل ChatGPT مفتوح المصدر: ذكاء اصطناعي محلي دون اتصال، وخادم متوافق مع OpenAI على localhost:1337، والتثبيت والحدود والمراقبة.
llama.cpp: استدلال محلي على CPU وGPU ونماذج GGUF وخادم HTTP مدمج
ابنِ llama.cpp وشغّل نموذج GGUF على CPU أو GPU عبر llama-server المتوافق مع OpenAI، ثم راقبه: الصحة ومقاييس Prometheus والسجلات.