بناء LlamaIndex RAG على وثائقك الداخلية من أجدى مشاريع الذكاء الاصطناعي لفريق العمليات: أدلة التشغيل (runbooks) وإجراءات المناوبة وتقارير ما بعد الحوادث وصفحات الويكي تنام في مجلدات لا يقرؤها أحد في منتصف الليل. ومساعد قائم على LlamaIndex (RAG: التوليد المعزَّز بالاسترجاع)، قادر على إيجاد المقطع الصحيح وذكر مصدره، يوفر دقائق ثمينة أثناء حادثة.
الفخ معروف: نموذج أولي لـ RAG يبهر في العرض التوضيحي ثم يجيب بجانب الموضوع بمجرد طرح سؤال حقيقي. والفرق بين الحالتين لا يعود إلى النموذج بل إلى القياس. فبدون مجموعة أسئلة مرجعية ولا مقاييس للاسترجاع، تعدّل حجم المقاطع أو نموذج التضمين (embedding) بشكل أعمى.
يبيّن هذا المقال كيف تبني LlamaIndex RAG مستضافًا ذاتيًا على وثائق داخلية، ثم كيف تقيّم جودته بطريقة قابلة للتكرار. وهو جزء من مقارنتنا للبنات الذكاء الاصطناعي المفتوحة المصدر المستضافة ذاتيًا.
لماذا LlamaIndex لبناء RAG على وثائق داخلية؟
LlamaIndex إطار عمل بلغة Python (توجد نسخة TypeScript أيضًا) يتمحور حول ربط البيانات بنموذج لغوي. وبينما تركز أطر أخرى على تنسيق الوكلاء، يركز LlamaIndex على استيعاب المستندات وتقطيعها وفهرستها واستعلامها. وهذا بالضبط قلب RAG (Retrieval-Augmented Generation).
لبناته الرئيسية:
- Readers: تحمّل الملفات (Markdown وPDF وHTML…) أو مصادر خارجية عبر موصلات؛
- Node parsers: تقطّع المستندات إلى مقاطع (nodes) مع بياناتها الوصفية؛
- Index: الأشيع هو
VectorStoreIndexالذي يحسب التضمينات ويخزنها في مخزن متجهي؛ - Query engines وretrievers: تسترجع المقاطع الملائمة وتبني الإجابة؛
- وحدة التقييم: مقيِّمات جاهزة للأمانة والملاءمة وجودة الاسترجاع.
المشروع معياري: تُثبَّت النواة بـ llama-index-core، وكل تكامل (نموذج لغوي أو تضمينات أو قاعدة متجهية) حزمة منفصلة. وللبقاء داخليًا بالكامل يمكن الاعتماد على نموذج يقدّمه Ollama محليًا.
البنية المستهدفة: LlamaIndex وRAG ومصادر داخلية
لوثائق من بضعة آلاف الصفحات تكفي بنية بسيطة:
- تصدير الوثائق بصيغة Markdown أو HTML في مجلد خاضع للإصدارات؛
- سكربت استيعاب يقطّع ويحسب التضمينات ويحفظ الفهرس؛
- خدمة استعلام تحمّل الفهرس وتستعلم نموذجًا لغويًا محليًا؛
- مجموعة تقييم تُعاد تشغيلها مع كل تغيير في الإعداد.
التخزين الافتراضي في LlamaIndex في الذاكرة، ويمكن حفظه على القرص. وبعد حجم معين، أو لمشاركة الفهرس بين عدة نسخ، تتولى قاعدة متجهية مخصصة (Qdrant أو pgvector أو Chroma وغيرها) الأمر عبر حزمة التكامل المناسبة.
عمليًا: بناء LlamaIndex RAG خطوة بخطوة
الخطوة 1: ثبّت الحزم
نثبّت النواة وتكاملات Ollama للنموذج اللغوي والتضمينات. تحقق من الأسماء الدقيقة في الوثائق، فالتكاملات تتطور.
python -m venv .venv && source .venv/bin/activate
pip install llama-index-core llama-index-llms-ollama llama-index-embeddings-ollama
ollama pull llama3.1
ollama pull nomic-embed-text
الخطوة 2: اضبط النموذج اللغوي ونموذج التضمين
يحدد الكائن Settings القيم الافتراضية التي تستخدمها كل المكونات. ويجب أن يبقى نموذج التضمين نفسه بين الاستيعاب والاستعلام.
from llama_index.core import Settings
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.ollama import OllamaEmbedding
Settings.llm = Ollama(model="llama3.1", request_timeout=120.0)
Settings.embed_model = OllamaEmbedding(model_name="nomic-embed-text")
Settings.chunk_size = 512
Settings.chunk_overlap = 64
الخطوة 3: استوعب الوثائق واحفظ الفهرس
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex
docs = SimpleDirectoryReader("./docs-internes", recursive=True).load_data()
index = VectorStoreIndex.from_documents(docs, show_progress=True)
index.storage_context.persist(persist_dir="./storage")
يحتفظ القارئ بمسار الملف في البيانات الوصفية لكل مقطع: وهذا ما سيتيح ذكر المصدر في الإجابة.
الخطوة 4: استعلم واعرض المصادر
from llama_index.core import StorageContext, load_index_from_storage
ctx = StorageContext.from_defaults(persist_dir="./storage")
index = load_index_from_storage(ctx)
engine = index.as_query_engine(similarity_top_k=4)
resp = engine.query("Comment redémarrer le collecteur de logs en production ?")
print(resp)
for node in resp.source_nodes:
print(round(node.score or 0, 3), node.metadata.get("file_path"))
عرض المصادر ودرجاتها دائمًا هو أول مقياس للجودة: يجب أن يستطيع مستخدم المناوبة التحقق بنقرة واحدة.
الخطوة 5: ابنِ مجموعة تقييم
يتكامل نهجان. الأول: كتابة 30 إلى 50 سؤالًا حقيقيًا بيدك (مأخوذة من التذاكر أو قنوات المناوبة) مع المستند المنتظر. والثاني: توليد أزواج سؤال/سياق انطلاقًا من المقاطع، بمولّد مجموعات بيانات من LlamaIndex (مثل DatasetGenerator في وحدة التقييم؛ تختلف الأدوات المتاحة بحسب الإصدارات)، ثم مراجعتها. الأسئلة المولَّدة قريبة جدًا من النص غالبًا؛ أما الأسئلة البشرية فتكشف الثغرات الحقيقية.
الخطوة 6: قِس الاسترجاع والتوليد
يُقيَّم طوري RAG كلٌّ على حدة:
- الاسترجاع: هل يظهر المقطع الصحيح في النتائج؟ يحسب
RetrieverEvaluatorخصوصًا hit rate وMRR (متوسط الرتبة المتبادلة). - التوليد: هل الإجابة أمينة للسياق المسترجع (
FaithfulnessEvaluator) وملائمة للسؤال (RelevancyEvaluator)؟
from llama_index.core.evaluation import (
FaithfulnessEvaluator, RelevancyEvaluator, RetrieverEvaluator)
retriever = index.as_retriever(similarity_top_k=4)
ret_eval = RetrieverEvaluator.from_metric_names(
["hit_rate", "mrr"], retriever=retriever)
faith = FaithfulnessEvaluator()
relev = RelevancyEvaluator()
resp = engine.query(question)
print(faith.evaluate_response(response=resp).passing,
relev.evaluate_response(query=question, response=resp).passing)
تستخدم مقيِّمات التوليد نفسها نموذجًا لغويًا كحَكَم. ومع نموذج محلي صغير تكون أحكامها مشوَّشة: استخدمها لمقارنة إعدادين على المجموعة نفسها، لا كدرجة مطلقة. وقد تختلف التواقيع الدقيقة بحسب الإصدار؛ والمرجع هو الوثائق الرسمية لـ LlamaIndex.
كيف تقيس جودة RAG على المدى الطويل؟
التقييم دون اتصال لا يكفي. وفي الإنتاج تهم ثلاث عائلات من الإشارات:
- الجودة المُدرَكة: ردود المستخدمين (إعجاب أو عدم إعجاب)، والأسئلة المعاد صياغتها مباشرة بعد إجابة، ونسبة إجابات «لا أعرف»؛
- جودة الاسترجاع: توزيع درجات التشابه، ونسبة الاستعلامات التي تقل أفضل درجة فيها عن عتبة (علامة على موضوع غير موثّق)؛
- الأداء والتكلفة: زمن الاسترجاع وزمن التوليد منفصلين، والرموز (tokens) المستهلكة لكل استعلام، وحجم السياق المحقون.
يوفر LlamaIndex نقاط قياس تتيح إرسال هذه المراحل في صورة تتبعات OpenTelemetry، عبر مكتبات مثل OpenLLMetry أو OpenInference. ونفصّل الإعداد في مقال Langfuse وOpenLLMetry. ولربط هذه التتبعات ببقية تطبيقك راجع أيضًا OpenTelemetry من طرف إلى طرف.
أفضل الممارسات
- نظّف المصدر قبل الفهرسة: الصفحات القديمة والمكررة والمسودات تضر بالجودة أكثر من نموذج ضعيف.
- أضف بيانات وصفية مفيدة (الفريق المالك وتاريخ التحديث والبيئة) ورشّح بها عند الاستعلام.
- أصدِر معًا الفهرس ونموذج التضمين وحجم المقاطع ومجموعة التقييم.
- غيّر معاملًا واحدًا في كل مرة وأعد تشغيل التقييم كاملًا.
- احترم صلاحيات الوصول: يجب ألا يكشف RAG صفحة لا يستطيع المستخدم قراءتها.
- اطلب من النموذج أن يجيب «لا أعرف» عند نقص السياق، وقِس هذه النسبة.
الأسئلة الشائعة
LlamaIndex أم LangChain لبناء RAG؟
كلاهما يجيد RAG. LlamaIndex أكثر تخصصًا في استيعاب المستندات وفهرستها؛ أما LangChain وLangGraph فأكثر توجهًا نحو التنسيق والوكلاء. ويفصّل مقالنا LangChain وLangGraph هذا الاستخدام الثاني.
هل تلزم قاعدة متجهية مخصصة؟
ليس للبدء: يكفي الحفظ على القرص لنموذج أولي. وتصبح القاعدة المخصصة مفيدة حين يكبر الفهرس أو يُشارَك بين عدة نسخ أو يُحدَّث باستمرار.
كم سؤالًا لتقييم RAG؟
تكفي بضع عشرات من الأسئلة الحقيقية والممثِّلة لمقارنة الإعدادات. والمهم إبقاء المجموعة نفسها من إصدار إلى آخر وإثراؤها بالإخفاقات الملاحظة في الإنتاج.
الخلاصة
يُبنى LlamaIndex RAG على وثائق داخلية في بضع عشرات من الأسطر. وما يجعله موثوقًا هو الانضباط حوله: مصادر نظيفة، ومجموعة تقييم خاضعة للإصدارات، ومقاييس للاسترجاع والتوليد تُقاس على حدة، ثم تتبعات في الإنتاج. وبهذه الضمانات يصبح المساعد أداة مناوبة جديرة بالثقة بدل أن يبقى عرضًا توضيحيًا.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا للمشاريع المذكورة. العلامات التجارية المذكورة ملك لأصحابها. الأدوات تتطور بسرعة، لذا تحقق دائمًا من الأوامر والخيارات في وثائقها الرسمية.