llama.cpp هو المحرك الذي جعل الاستدلال المحلي للنماذج اللغوية الكبيرة (LLM) في متناول الجميع: تنفيذ بلغة C/C++ بلا اعتماديات ثقيلة، قادر على تشغيل نموذج لغوي على معالج عادي أو على بطاقة GPU استهلاكية أو على جهاز Mac. أطلقه Georgi Gerganov وتتولى صيانته اليوم منظمة ggml-org، وهو من أكثر المشاريع المفتوحة المصدر متابعةً على GitHub، ولبنة تقوم عليها أدوات كثيرة، منها Ollama.
لاستخدام llama.cpp مباشرة بدل المرور بطبقة فوقه عدة فوائد: تحكم دقيق في التكميم (quantization) وحجم السياق وتوزيع الطبقات بين CPU وGPU، وملفات تنفيذية خفيفة يسهل تغليفها، وخادم HTTP مدمج يتكلم بلهجة واجهة OpenAI.
نعرض في هذا المقال المفاهيم الأساسية (GGUF والتكميم وتفريغ الحمل على GPU)، ثم نبني llama-server ونشغّله، ثم نرى كيف يُراقَب: نقطة الصحة ومقاييس Prometheus والسجلات وتتبعات OpenTelemetry من جهة التطبيق، وصولًا إلى واجهة خلفية مثل Dynatrace.
llama.cpp باختصار: GGUF والتكميم والواجهات الخلفية
تكفي ثلاثة مفاهيم للبدء.
- GGUF هي صيغة ملفات النماذج في llama.cpp: ملف واحد يحوي الأوزان والمُرمِّز (tokenizer) والبيانات الوصفية. وتُنشر نماذج مفتوحة كثيرة بهذه الصيغة على Hugging Face.
- التكميم يخفض دقة الأوزان (8 بت أو 5 بت أو 4 بت…) لتقليل الذاكرة اللازمة وتسريع الاستدلال، على حساب فقد طفيف في الجودة. وتحمل المتغيرات أسماء مثل
Q8_0أوQ4_K_M. - الواجهات الخلفية (backends) تحدد العتاد المستخدم: CPU افتراضيًا، وCUDA لـ NVIDIA، وMetal على Apple Silicon، وVulkan، وHIP لـ AMD وغيرها. ويمكن تفريغ كل طبقات النموذج أو بعضها على GPU.
يقدّم المشروع عدة أدوات: llama-cli للحوار في الطرفية، وllama-server لتقديم نموذج عبر HTTP، وllama-quantize لإنتاج متغيرات مكمَّمة، وllama-bench لقياس الأداء على عتادك أنت.
عمليًا: استدلال محلي مع llama.cpp
الخطوة 1: ثبّت أو ابنِ
الأسرع هو استخدام حزمة (Homebrew أو winget…) أو الملفات التنفيذية المبنية مسبقًا التي تُنشر مع كل إصدار على GitHub. ولتفعيل واجهة خلفية معينة يُبنى المشروع بـ CMake:
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build # CPU uniquement
# cmake -B build -DGGML_CUDA=ON # avec CUDA
cmake --build build --config Release -j
ls build/bin/ # llama-cli, llama-server, ...
تُوصف خيارات البناء ومتطلبات كل واجهة خلفية في دليل البناء ضمن المستودع الرسمي لـ llama.cpp.
الخطوة 2: احصل على نموذج GGUF
يمكنك تنزيل ملف .gguf من Hugging Face، أو ترك llama.cpp يفعل ذلك بالخيار -hf الذي يأخذ مستودع Hugging Face (وعند الحاجة متغير تكميم):
build/bin/llama-cli -hf ggml-org/gemma-3-1b-it-GGUF
اختر التكميم بحسب الذاكرة المتاحة: نموذج من 7 إلى 8 مليارات معامل بتكميم 4 بت يتسع في بضعة غيغابايت، بينما تتطلب نسخة 16 بت أضعاف ذلك.
الخطوة 3: شغّل خادم HTTP
build/bin/llama-server \
-m modeles/mon-modele-Q4_K_M.gguf \
--host 127.0.0.1 --port 8080 \
-c 8192 \
-ngl 99 \
--metrics
يحدد -c حجم السياق، ويحدد -ngl عدد الطبقات المفرَّغة على GPU (قيمة مرتفعة تضعها كلها إن سمحت الذاكرة)، ويفعّل --metrics نقطة Prometheus. ويحمي الخيار --api-key الوصول، ويضبط خيار التوازي عدد الطلبات المخدومة في آن واحد. وأسماء الخيارات تتطور: المرجع هو llama-server --help.
ويقدّم الخادم أيضًا واجهة ويب صغيرة في جذره، مفيدة لاختبار سريع. وتُنشر صورة حاوية رسمية في سجل GitHub الخاص بالمشروع.
الخطوة 4: استدعِ الواجهة المتوافقة مع OpenAI
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"messages": [{"role": "user", "content": "Donne trois causes de latence réseau."}]}'
تتضمن الاستجابات عدد الرموز (tokens)، وفي النقطة الأصلية معلومات عن زمن معالجة المطالبة (prompt) وزمن التوليد.
كيف تراقب llama-server؟
الصحة والتوافر
تبيّن النقطة /health ما إذا كان الخادم جاهزًا؛ وتعيد خطأ ما دام النموذج قيد التحميل. وهي الهدف الطبيعي لفحص توافر في Kubernetes أو لمراقب اصطناعي (synthetic monitor).
مقاييس Prometheus
مع --metrics يعرض المسار /metrics مقاييس تبدأ بالبادئة llamacpp:: عدّادات رموز المطالبة والرموز المولَّدة، ومتوسطات معدل المعالجة، والطلبات قيد المعالجة والطلبات المؤجلة لعدم وجود slot حرة، إضافة إلى متوسط عدد الـ slots المشغولة في كل استدعاء فك ترميز وأقصى حجم سياق لوحظ. استعلم نسختك لترى القائمة الدقيقة:
curl -s http://127.0.0.1:8080/metrics | grep '^llamacpp'
الطلبات المؤجلة هي مؤشر التشبّع الذي يجب مراقبته أولًا: فهي تعني أن كل الـ slots مشغولة وأن العملاء ينتظرون.
السجلات
يكتب llama-server على الخرج القياسي: اكتشاف العتاد وتحميل النموذج وتوزيع الطبقات بين CPU وGPU، ثم سطر أزمنة لكل طلب (زمن معالجة المطالبة والرموز في الثانية عند التوليد). هذه الأسطر ثمينة لفهم أي تدهور؛ ويجمعها OpenTelemetry Collector أو وكيل المضيف في مكان مركزي.
تتبعات OpenTelemetry
لا يصدر الخادم تتبعات OpenTelemetry على حد علمنا. وبما أنه متوافق مع OpenAI فأبسط حل هو تزويد التطبيق المستدعي بأداة قياس OpenAI لـ OpenTelemetry (مثل أدوات OpenLLMetry) مع توجيه العميل إلى عنوان llama-server. فيصبح كل استدعاء span تحمل النموذج والرموز والمدة، ومرتبطة بتتبع طلب المستخدم.
إيصال llama.cpp إلى Dynatrace
السلسلة هي نفسها كما في vLLM: يجمع OpenTelemetry Collector المسار /metrics بالمستقبِل prometheus، ويحوّل العدّادات إلى delta، ويستقبل تتبعات OTLP من التطبيق، ويصدّر إلى نقطة OTLP في Dynatrace برمز API مميّز. نفصّل هذا الإعداد في vLLM في الإنتاج؛ يكفي تغيير هدف الجمع. وعلى مضيف مزوّد بـ OneAgent تكمّل مقاييس العمليات وGPU الصورة.
المؤشرات المفيدة: الرموز المولَّدة في الثانية، والطلبات المؤجلة، وزمن الاستجابة لكل طلب من جهة العميل، واستخدام GPU وذاكرته، وعدد مرات إعادة التشغيل. ولربط هذه البيانات ببقية السلسلة طبّق مبادئ مقالنا OpenTelemetry من طرف إلى طرف.
أفضل الممارسات
- قِس بـ
llama-benchعلى عتادك قبل اختيار التكميم. - فعّل دائمًا
--metricsوفحصًا على/healthبمجرد أن يصبح الخادم مشتركًا. - أبقِ
--host 127.0.0.1افتراضيًا وأضف مفتاح API أو وكيلًا عكسيًا قبل أي عرض خارجي. - ثبّت الإصدار: يصدر المشروع بوتيرة عالية جدًا والخيارات تتطور.
- لا تنزّل نماذج GGUF إلا من مصادر موثوقة.
الأسئلة الشائعة
ما الفرق بين llama.cpp وOllama؟
يعتمد Ollama على llama.cpp ويضيف إدارة مبسطة للنماذج. ويوفر llama.cpp تحكمًا وخيارات أكثر مع إعداد أكبر قليلًا. راجع دليلنا عن Ollama محليًا.
هل يعمل llama.cpp بدون GPU؟
نعم، وهذه نقطة انطلاقه أصلًا. ويتوقف الأداء حينئذ كثيرًا على المعالج وعرض نطاق الذاكرة والتكميم المختار.
كيف أفعّل مقاييس Prometheus في llama-server؟
بتشغيل الخادم بالخيار --metrics؛ ثم تُعرض على /metrics وعلى المنفذ نفسه الذي تعمل عليه الواجهة.
الخلاصة
يبقى llama.cpp المرجع للاستدلال المحلي الخفيف، من الحاسوب المحمول إلى خادم GPU صغير. وخادمه المدمج، المتوافق مع OpenAI والمزوَّد بمقاييس Prometheus، يسهّل دمجه ومراقبته. ولتحديد موقعه أمام Ollama وvLLM واللبنات الأخرى راجع مقارنتنا لحزم الذكاء الاصطناعي المفتوحة المصدر المستضافة ذاتيًا.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا للمشاريع المذكورة. العلامات التجارية المذكورة ملك لأصحابها. الأدوات تتطور بسرعة، لذا تحقق دائمًا من الأوامر والخيارات في وثائقها الرسمية.