أصبح تشغيل Ollama محليًا أبسط مدخل إلى النماذج اللغوية الكبيرة (LLM) المستضافة ذاتيًا: أمر واحد للتثبيت وآخر لتنزيل نموذج، وواجهة HTTP جاهزة للاستجابة. وهو من أكثر المشاريع المفتوحة المصدر متابعةً على GitHub، ويُستخدم من حاسوب المطور المحمول إلى خادم GPU الخاص بالفريق. وما إن يخدم Ollama عدة أشخاص حتى يستحق أن يُراقَب مثل أي خدمة أخرى: مقاييس وسجلات وتتبعات.
لهذه البساطة وجه آخر. ما دام Ollama أداة شخصية فلا أحد يسأل كم يستغرق تحميل نموذج، أو لماذا تصل الإجابة بعد اثنتي عشرة ثانية. أما حين يصير خدمة تعتمد عليها تطبيقات أخرى فيجب التعامل معه كأي مكوّن إنتاجي: أن تعرف هل يستجيب، وبأي سرعة، وبأي استهلاك لذاكرة GPU، ولصالح أي مستدعٍ.
يعرّف هذا المقال بالمشروع ويثبّته خطوة بخطوة، ثم يبيّن كيف تراقبه: ما الذي تعرضه الواجهة أصلًا، وكيف تجمع السجلات، وكيف تنتج تتبعات OpenTelemetry من جهة العميل، وكيف يصل كل ذلك إلى أداة قابلية الملاحظة مثل Dynatrace.
تشغيل Ollama محليًا: ما هو وما فائدته؟
Ollama محرك لتشغيل النماذج اللغوية، يغلّف تنزيل النماذج وتكميمها (quantization) وتقديمها خلف واجهة سطر أوامر وواجهة REST API. ويعتمد داخليًا على llama.cpp وصيغة GGUF، ما يتيح له العمل على وحدة المعالجة المركزية (CPU) وعلى بطاقات GPU من NVIDIA أو AMD وعلى رقائق Apple Silicon.
مزاياه لفريق تقني:
- مكتبة نماذج جاهزة (Llama وMistral وGemma وQwen وغيرها كثير)، يُشار إليها باسم ووسم؛
- واجهة أصلية (
/api/generateو/api/chatو/api/tags…) وواجهة متوافقة مع OpenAI تحت/v1، ما يسمح بإعادة استخدام حزم SDK الموجودة؛ - إدارة تلقائية لتحميل النماذج في الذاكرة وتفريغها منها.
وحدوده واضحة بالقدر نفسه: يستهدف Ollama البساطة أكثر من أقصى معدل معالجة. ولخدمة عدد كبير من المستخدمين المتزامنين على وحدات GPU في مراكز البيانات، فخادم مثل vLLM في الإنتاج غالبًا أنسب.
عمليًا: تثبيت Ollama وتشغيل أول نموذج
الخطوة 1: ثبّت الخدمة
على Linux يثبّت السكربت الرسمي الملف التنفيذي وينشئ خدمة systemd:
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama
أما على macOS وWindows فيتوفر مثبّت رسومي. وفي الحاويات تُستخدم الصورة الرسمية هكذا (أضف --gpus=all إن كان NVIDIA Container Toolkit مثبّتًا):
docker run -d --name ollama \
-v ollama:/root/.ollama \
-p 11434:11434 \
ollama/ollama
الخطوة 2: نزّل نموذجًا واختبره
ollama pull llama3.2
ollama run llama3.2 "Explique ce qu'est un SLO en deux phrases."
ollama ps # modèles chargés en mémoire, CPU ou GPU
ollama list # modèles présents sur le disque
تتغير الأسماء والوسوم المتاحة باستمرار، فراجع مكتبة النماذج في موقع المشروع قبل تثبيت اسم في سكربت.
الخطوة 3: استدعِ الواجهة
يستمع الخادم افتراضيًا على المنفذ 11434 في الجهاز المحلي. ويعيد الاستدعاء غير المتدفق (non-streamed)، إضافة إلى النص، معلومات عن الأزمنة مفيدة جدًا للمراقبة:
curl -s http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "Pourquoi le ciel est-il bleu ?",
"stream": false
}' | jq '{total_duration, load_duration, prompt_eval_count, eval_count, eval_duration}'
الأزمنة معبَّر عنها بالنانوثانية. يكشف load_duration كلفة التحميل البارد، وقسمة eval_count على eval_duration تعطي معدل التوليد بالرموز (tokens) في الثانية.
الخطوة 4: افتح الخدمة بحذر
لإتاحة Ollama لأجهزة أخرى، يحدد المتغير OLLAMA_HOST عنوان الاستماع. وتضبط متغيرات أخرى مدة بقاء النموذج في الذاكرة أو درجة التوازي. وتتغير قائمتها وسلوكها الدقيق من إصدار إلى آخر، فارجع إلى الأسئلة الشائعة في الوثائق الرسمية لـ Ollama. لا تتضمن الواجهة مصادقة: ضع أمامها وكيلًا عكسيًا (reverse proxy) بضبط للوصول، ولا تعرضها مباشرة على الإنترنت أبدًا.
كيف تراقب Ollama محليًا وفي الإنتاج؟
تقوم مراقبة نموذج لغوي محلي على أربع عائلات من الإشارات. لا يوفر Ollama منها أصلًا إلا جزءًا، والباقي يُبنى حوله.
التوافر وحالة النماذج
يكفي استدعاء بسيط إلى /api/tags أو إلى جذر الخادم كفحص للتوافر. وتسرد النقطة /api/ps النماذج المحمّلة وحجمها والجزء الموضوع في ذاكرة GPU: وهي المكافئ البرمجي للأمر ollama ps، ويسهل استعلامها من مراقب اصطناعي (synthetic monitor).
المقاييس
على حد علمنا، لا يعرض Ollama نقطة Prometheus أصلية وقت كتابة هذا المقال؛ تحقق من ملاحظات الإصدارات، فالموضوع يُناقَش بانتظام. لذلك تُحسب المقاييس المفيدة انطلاقًا من استجابات الواجهة (الزمن الكلي ووقت التحميل والرموز الداخلة والخارجة ومعدل المعالجة) ومن مقاييس البنية التحتية. وفي جانب GPU، يوفر مصدّر DCGM من NVIDIA أو وكيل المضيف نسبة الاستخدام والذاكرة وحرارة البطاقات.
السجلات
حين يُثبَّت كخدمة، يكتب Ollama في سجل systemd؛ وفي الحاوية يكتب على الخرج القياسي:
journalctl -u ollama -f
docker logs -f ollama
تبيّن هذه السجلات خصوصًا اكتشاف بطاقات GPU وتحميل النماذج وأخطاء الذاكرة. ويُفعَّل الوضع المفصّل بمتغير تصحيح موصوف في الوثائق. ويجمعها وكيل جمع (OneAgent، أو OpenTelemetry Collector مع المستقبِل filelog أو journald) في مكان مركزي.
تتبعات OpenTelemetry من جهة التطبيق
الأغنى يحدث عند المستدعي. ينشر مشروع OpenLLMetry أدوات قياس OpenTelemetry لعدة مزوّدين، منهم Ollama، وتنتج span لكل استدعاء مع النموذج والرموز المستهلكة والمدة، وفق الاصطلاحات الدلالية لـ GenAI. مثال بلغة Python:
pip install ollama opentelemetry-sdk opentelemetry-exporter-otlp \
opentelemetry-instrumentation-ollama
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
from opentelemetry.instrumentation.ollama import OllamaInstrumentor
import ollama
provider = TracerProvider()
provider.add_span_processor(BatchSpanProcessor(OTLPSpanExporter()))
trace.set_tracer_provider(provider)
OllamaInstrumentor().instrument()
reponse = ollama.chat(model="llama3.2",
messages=[{"role": "user", "content": "Bonjour"}])
print(reponse["message"]["content"])
تحقق من الاسم الدقيق للحزمة والصنف في مستودع OpenLLMetry: فأدوات القياس هذه تتطور بسرعة. ونقارن هذا النهج مع Langfuse في مقالنا عن Langfuse وOpenLLMetry.
إيصال قياسات Ollama إلى Dynatrace
يُضبط مصدّر OTLP بالمتغيرات القياسية في OpenTelemetry. وللإرسال المباشر إلى Dynatrace SaaS يكفي عنوان OTLP الخاص بالبيئة ورمز API مميّز (API token) يحمل صلاحيات الاستيعاب المناسبة (التتبعات والمقاييس والسجلات):
export OTEL_SERVICE_NAME="assistant-interne"
export OTEL_EXPORTER_OTLP_ENDPOINT="https://<environnement>.live.dynatrace.com/api/v2/otlp"
export OTEL_EXPORTER_OTLP_HEADERS="Authorization=Api-Token%20<jeton>"
export OTEL_EXPORTER_OTLP_PROTOCOL="http/protobuf"
وفي نشر أكثر جدية يُفضَّل المرور عبر OpenTelemetry Collector، الذي يستقبل التتبعات والسجلات ويضيف سمات المضيف وKubernetes ثم يصدّرها إلى الواجهة الخلفية. وتظهر الـ spans حينئذ في عرض التتبعات الموزّعة (distributed tracing)، مرتبطة بالخدمة المستدعية، ويرتبط المضيف الذي يشغّل Ollama بمقاييس GPU الخاصة به. والمبدأ هو نفسه الموصوف في OpenTelemetry من طرف إلى طرف: القيمة تأتي من الربط بين استدعاء النموذج والخدمة والبنية التحتية.
لوحات المعلومات (dashboards) المفيدة قليلة: زمن الاستجابة p50 وp95 لكل نموذج، والرموز المولَّدة في الدقيقة، ونسبة الاستدعاءات ذات التحميل البارد، وذاكرة GPU المشغولة، ومعدل الأخطاء. وتغطي تنبيهات على زمن p95 وعلى تشبّع الذاكرة معظم الحاجة.
أفضل الممارسات
- حمّل النماذج الحرجة مسبقًا واضبط مدة بقائها في الذاكرة لتفادي التحميل البارد في ساعات الذروة.
- لا تنشر منفذ Ollama أبدًا دون مصادقة ولا ترشيح للشبكة.
- زوّد المستدعي بأدوات قياس OpenTelemetry بدل استنتاج الأداء من سجلات الخادم وحدها.
- تجنب تسجيل المطالبات (prompts) والإجابات كاملة في التتبعات إن كانت تحتوي بيانات شخصية.
- راقب ذاكرة GPU: النموذج الذي يفيض إلى CPU يظل يعمل لكنه يصبح أبطأ بكثير.
الأسئلة الشائعة
هل يمكن لـ Ollama أن يحل محل واجهة LLM مستضافة؟
للاستخدامات الداخلية والنماذج الأولية والبيانات الحساسة، نعم، بشرط قبول نماذج أصغر وتحديد حجم العتاد. أما لحركة متزامنة كثيفة فالأفضل خادم موجَّه نحو معدل المعالجة.
هل يعرض Ollama مقاييس Prometheus؟
ليس أصلًا على حد علمنا. تُجمع الأزمنة التي تعيدها الواجهة وتتبعات OpenTelemetry الخاصة بالتطبيق ومقاييس GPU للمضيف. تحقق من أحدث الإصدارات، فقد يتغير ذلك.
كيف أعرف أن نموذجًا يعمل على GPU؟
يبيّن الأمر ollama ps أو النقطة /api/ps التوزيع بين CPU وGPU لكل نموذج محمّل؛ كما تعرض سجلات الإقلاع بطاقات GPU المكتشفة.
الخلاصة
يجعل Ollama الاستدلال المحلي بسيطًا تقريبًا، لكن النموذج اللغوي المشترك يبقى خدمة إنتاج. وبالجمع بين فحوص على الواجهة وسجلات مركزية ومقاييس GPU وتتبعات OpenTelemetry من جهة التطبيق، تحصل على رؤية كاملة جاهزة للاستثمار في Dynatrace أو في واجهة خلفية أخرى. ولتحديد موقع Ollama بين اللبنات الأخرى راجع مقارنتنا لحزم الذكاء الاصطناعي المفتوحة المصدر المستضافة ذاتيًا، ولإضافة واجهة محادثة إليه راجع دليلنا عن Open WebUI.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا للمشاريع المذكورة. العلامات التجارية المذكورة ملك لأصحابها. الأدوات تتطور بسرعة، لذا تحقق دائمًا من الأوامر والخيارات في وثائقها الرسمية.