مكدس الذكاء الاصطناعي المستضاف ذاتيًا: مقارنة بين مكونات البنية التحتية مفتوحة المصدر

مكدس الذكاء الاصطناعي المستضاف ذاتيًا: مقارنة Ollama وvLLM وOpen WebUI وLlamaIndex وCrewAI وDify وn8n وLangfuse وتركيبات نموذجية جاهزة.
Stack IA open source auto-hébergée : le comparatif des briques d'une infrastructure IA auto-hébergée

لم يعد بناء مكدس الذكاء الاصطناعي المستضاف ذاتيًا مقتصرًا على فرق البحث. ففي 2026 يستطيع فريق التشغيل أن يشغّل نموذجًا لغويًا كبيرًا (LLM) على خوادمه، ويوفّر واجهة محادثة لزملائه، ويربط RAG بوثائقه، ويؤتمت فرز التنبيهات، ويتتبع كل استدعاء، من دون أن تغادر أي بيانات بنيته التحتية. يقارن هذا الدليل مكونات هذه البنية، طبقة بعد طبقة.

لم تعد الصعوبة في العثور على الأدوات بل في الاختيار بينها. Ollama وvLLM وllama.cpp وOpen WebUI وLangChain وLlamaIndex وCrewAI وDify وn8n وLangfuse وPhoenix: لكل مشروع مكانه، لكن ليس بالضرورة في سياقك. وكل مكوّن يضاف هو خدمة إضافية يجب نشرها وتحديثها وتأمينها ومراقبتها.

ينظّم هذا الدليل المحوري هذه المشاريع في خمس طبقات، ويقارن نقاط قوتها وحدودها في جدول، ثم يقترح تركيبات نموذجية. لكل مكوّن مقال مخصص، مرتبط أدناه، فيه شرح خطوة بخطوة ونصائح للتشغيل.

الطبقات الخمس في مكدس الذكاء الاصطناعي المستضاف ذاتيًا

  1. الاستدلال (inference): الخادم الذي يحمّل النموذج ويجيب عن الطلبات (Ollama وvLLM وllama.cpp).
  2. الواجهة: تطبيق المحادثة للمستخدمين (Open WebUI).
  3. الأطر (frameworks): المكتبات التي تبني RAG والوكلاء (LangChain/LangGraph وLlamaIndex وCrewAI وAutoGen).
  4. سير العمل: المنصات المرئية لتنسيق المعالجات (Dify وn8n).
  5. قابلية الملاحظة: جمع تتبعات LLM وتحليلها (Langfuse وOpenLLMetry وPhoenix).

والرابط بين هذه الطبقات ذو شقين: واجهة API المتوافقة مع OpenAI التي تعرضها معظم خوادم الاستدلال ويستطيع معظم العملاء استهلاكها، وOpenTelemetry الذي يتيح تتبع الطلب من طبقة إلى أخرى.

الجدول المقارن

المكوّن الطبقة نقاط القوة نقاط الانتباه المقال المخصص
Ollama الاستدلال تثبيت بأمر واحد، وفهرس نماذج، وواجهة API بسيطة مصمم للحاسوب الشخصي أو الخادم الصغير؛ التزامن محدود Ollama
vLLM الاستدلال معدل معالجة عالٍ على GPU، وواجهة API متوافقة مع OpenAI، ومقاييس Prometheus يتطلب وحدات GPU وضبطًا للذاكرة vLLM
llama.cpp الاستدلال خفيف، يعمل على CPU أو GPU، وصيغة GGUF، والتكميم أدنى مستوى؛ عليك تهيئته للإنتاج بنفسك llama.cpp
Open WebUI الواجهة واجهة محادثة كاملة، ومتعددة المستخدمين، مع RAG مدمج ترخيص خاص بالمشروع يجب قراءته؛ إدارة الحسابات تحتاج إلى ضبط Open WebUI
LangChain / LangGraph إطار منظومة تكاملات، ورسوم وكلاء بحالة تجريدات كثيرة وتغيّرات متكررة LangChain وLangGraph
LlamaIndex إطار استيعاب وفهرسة وتقييم لـ RAG أقل توجهًا إلى تنسيق الوكلاء المعقد LlamaIndex
CrewAI إطار وكلاء متعددون بحسب الأدوار والمهام، وواضح جدًا قياسات الاستخدام مفعّلة افتراضيًا CrewAI وAutoGen
AutoGen إطار وكلاء محادثة، وتتبع OpenTelemetry مدمج في وضع الصيانة، وأعلنت Microsoft عن خليفة له CrewAI وAutoGen
Dify سير العمل تطبيقات LLM وRAG ووكلاء بصورة مرئية، وواجهة API لكل تطبيق ترخيص Apache 2.0 معدّل بشروط Dify وn8n
n8n سير العمل مئات الموصّلات، وwebhooks، وعقد للذكاء الاصطناعي ترخيص «fair-code» بقيود تجارية Dify وn8n
Langfuse قابلية الملاحظة تتبعات LLM والتعليمات والتكاليف والتقييمات؛ يستقبل OTLP عدة مكونات يجب تشغيلها عند الاستضافة الذاتية Langfuse وOpenLLMetry
OpenLLMetry قابلية الملاحظة أدوات قياس OpenTelemetry لنماذج LLM وقواعد البيانات المتجهية والأطر اصطلاحات gen_ai.* ما زالت تتطور Langfuse وOpenLLMetry
Phoenix قابلية الملاحظة تتبعات وتقييمات، مبني على OpenTelemetry وOpenInference ترخيص Elastic License 2.0 قابلية ملاحظة الذكاء الاصطناعي

يلخّص هذا الجدول اتجاهات لا اختبارات أداء: فالأداء يتوقف على النموذج والعتاد والحمل. فقِس في سياقك أنت.

البنية التحتية للذكاء الاصطناعي المستضافة ذاتيًا: كيف تختار طبقة الاستدلال؟

هذا هو القرار الأكثر تأثيرًا في البنية، لأنه يحدد العتاد:

  • حاسوب واحد أو فريق صغير أو تجارب: Ollama لبساطته.
  • خدمة مشتركة على GPU مع كثير من المستخدمين المتزامنين: vLLM المصمم لمعدل المعالجة وكفاءة الذاكرة.
  • عتاد متواضع أو CPU أو أنظمة مدمجة أو بيئة معزولة: llama.cpp وخادمه المدمج، مع نماذج مكمَّمة.

بما أن الثلاثة تعرض واجهة API متوافقة مع OpenAI (وتقدّم Ollama واجهتها الخاصة أيضًا)، يبقى تغيير الخادم لاحقًا ممكنًا إذا اعتمد العملاء على هذه الواجهة المشتركة. وعلى Kubernetes انتبه إلى طلبات الموارد: يذكّر مقالنا عن طلبات CPU الفعلية للـ pods بمدى اتساع الفجوة بين المعلن والفعلي، وتقاسم وحدات GPU أصعب من ذلك.

أطر عمل أم منصة لسير العمل؟

الأطر (LangChain وLlamaIndex وCrewAI وAutoGen) موجهة إلى المطورين: كل شيء شيفرة قابلة للاختبار والإصدار، لكن عليك كتابة تطبيق وصيانته. أما منصات سير العمل (Dify وn8n) فموجهة إلى فئات أوسع: تجمع المكونات بصريًا وتنشر واجهة API، لكنك تعتمد على الأداة ونموذج تنفيذها.

قاعدة بسيطة: إذا كان لب الحاجة معالجة مهنية محددة مع اختبارات فاختر إطارًا؛ وإذا كان التكامل بين أنظمة قائمة مع خطوة ذكاء اصطناعي فاختر منصة لسير العمل. وكثيرًا ما يتعايش الاثنان.

لماذا قابلية الملاحظة ليست خيارًا

يجمع مكدس الذكاء الاصطناعي المستضاف ذاتيًا مخاطر الخدمة التقليدية (الأعطال والتشبع وزمن الاستجابة) ومخاطر نماذج LLM (إجابات خاطئة وحلقات الوكلاء وانفجار الرموز وتسرب البيانات في التعليمات). لذلك تلزم مراقبة على مستويين:

  • البنية التحتية والخدمة: GPU والذاكرة وطوابير خادم الاستدلال وزمن الاستجابة والأخطاء وتوافر كل مكوّن؛
  • تطبيق LLM: تتبعات الاستدعاءات والوثائق المسترجعة والرموز ودرجات الجودة.

يولّد OpenLLMetry أو OpenInference التتبعات، ويحللها Langfuse أو Phoenix من زاوية LLM، وتربط واجهة خلفية عامة متوافقة مع OTLP كل ذلك ببقية النظام. يشرح مقالنا المحوري عن قابلية ملاحظة الذكاء الاصطناعي هذا النهج، وتوضح متطلبات SRE لأحمال الذكاء الاصطناعي قيوده.

عمليًا: ثلاث تركيبات نموذجية

الخطوة 1 — مجموعة البداية (جهاز واحد)

Ollama مع Open WebUI، وربما مع RAG المدمج في Open WebUI. الهدف: تعريف الفريق بالذكاء الاصطناعي المحلي وجمع حالات الاستخدام. ما يُراقب: التوافر والذاكرة وزمن الاستجابة.

# exemple indicatif : vérifier que le serveur Ollama répond
curl http://localhost:11434/api/tags

الخطوة 2 — مساعد التشغيل (خادم GPU)

vLLM للاستدلال المشترك، وOpen WebUI واجهة، وRAG من LlamaIndex على أدلة التشغيل (runbooks) معروض كواجهة API، وn8n لفرز التنبيهات، وOpenLLMetry نحو Langfuse. الهدف: أول خدمة داخلية بهدف مستوى خدمة (SLO) للتوافر وزمن الاستجابة.

الخطوة 3 — منصة الذكاء الاصطناعي الداخلية (Kubernetes)

عدة نماذج تقدّمها vLLM خلف بوابة، وDify لفرق الأعمال، وLangGraph أو CrewAI للوكلاء المطوَّرين داخليًا، وOpenTelemetry Collector مركزي يرسل التتبعات إلى Langfuse أو Phoenix وإلى منصة قابلية الملاحظة في المؤسسة. الهدف: منتج منصة بفهرس وحصص ومتابعة للتكاليف. راجع أيضًا مقالنا عن تحديات هندسة المنصات.

في كل مرحلة، لا تضف مكوّنًا إلا عندما تبرره حاجة مقيسة.

أفضل الممارسات

  • اقرأ التراخيص: عدة مشاريع مذكورة ليست بترخيص مفتوح المصدر «تقليدي» (Dify وn8n وOpen WebUI وPhoenix).
  • وحّد جهة العملاء على واجهة API المتوافقة مع OpenAI لتحتفظ بحرية تغيير الخادم.
  • فعّل OpenTelemetry من النموذج الأولي، ومركِز البيانات عبر Collector.
  • ثبّت إصدارات الصور والنماذج؛ واختبر التحديثات على مجموعة حالات مرجعية.
  • ضع كل الواجهات خلف مصادقة المؤسسة وخادم وكيل عكسي (reverse proxy) مع TLS.
  • اعرض الأدوات للوكلاء باعتدال، وربما عبر MCP، وللقراءة فقط افتراضيًا.
  • تابع التكاليف: GPU وتخزين التتبعات والوقت البشري للتشغيل.

الأسئلة الشائعة

هل المكدس المستضاف ذاتيًا أرخص من واجهة API سحابية؟

ليس بالضرورة. يصبح مجديًا مع استخدام مستمر أو قيود على السرية أو حاجة إلى العمل دون اتصال. وعليك احتساب العتاد والطاقة، وخصوصًا وقت التشغيل.

أي نموذج أختار للبدء؟

نموذج عام متوسط الحجم، بترخيص يتوافق مع استخدامك، ومتاح بالصيغة التي يدعمها خادم الاستدلال لديك. ثم قارن بضعة مرشحين على أسئلتك أنت بدل التصنيفات العامة.

هل يجب استضافة كل شيء ذاتيًا، بما في ذلك قابلية الملاحظة؟

ليس إلزاميًا. يمكن استضافة Langfuse وPhoenix ذاتيًا، لكن التتبعات يمكن أن تذهب أيضًا إلى خدمة مُدارة إذا أُخفيت التعليمات عند Collector. المهم أن تقرر بوعي إلى أين تذهب البيانات.

الخلاصة

يُبنى مكدس الذكاء الاصطناعي المستضاف ذاتيًا على طبقات: الاستدلال والواجهة والأطر وسير العمل وقابلية الملاحظة. ليس هناك تركيبة تصلح للجميع، بل منهج: ابدأ صغيرًا، ووحّد الواجهات المفتوحة (واجهة API المتوافقة مع OpenAI وOpenTelemetry)، وقِس، ثم أضف مكونات حين تثبت الحاجة. وتفصّل المقالات التابعة في هذه السلسلة كل واحد منها.

للتعمق في كل مشروع، ارجع إلى وثائقه الرسمية، مثل وثائق vLLM أو Phoenix.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا للمشاريع المذكورة. العلامات التجارية المذكورة ملك لأصحابها. الأدوات تتطور بسرعة، لذا تحقق دائمًا من الأوامر والخيارات في وثائقها الرسمية.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
CrewAI/AutoGen : construire des systèmes multi-agents, et l'observabilité CrewAI avec OpenTelemetry

CrewAI AutoGen: بناء أنظمة متعددة الوكلاء وقابلية ملاحظة CrewAI مع OpenTelemetry

Next Post
Formation Dynatrace Managed : le parcours complet en 8 modules

تدريب Dynatrace Managed: المسار الكامل والمجاني في 8 وحدات

Related Posts