Langfuse وOpenLLMetry مشروعان مفتوحا المصدر يجيبان عن السؤال نفسه: ماذا يحدث فعلًا داخل تطبيق LLM؟ ما الموجّه (prompt) الذي أُرسل، وما المستندات التي استُرجعت، وكم رمزًا (token) استُهلك، وأي خطوة استغرقت ثلاث ثوانٍ؟ ودون تتبعات أو قابلية ملاحظة LLM يبقى تطبيق RAG أو الوكيل صندوقًا أسود، وتتحول كل إجابة غريبة إلى تحقيق في الظلام.
للمشروعين خاصية تهم فرق SRE مباشرة: كلاهما يتحدث OpenTelemetry. OpenLLMetry مجموعة أدوات قياس برمجي تنتج وحدات span في OpenTelemetry لاستدعاءات النماذج اللغوية وقواعد المتجهات والأطر. وLangfuse منصة هندسة LLM (تتبعات وإدارة موجّهات وتقييمات ومجموعات بيانات) قادرة على استقبال هذه التتبعات عبر OTLP.
يبيّن هذا المقال كيف تجمع بينهما لتتبع تطبيق LLM، وكيف ترسل التتبعات نفسها إلى نظام مراقبة عام. وهو يكمّل مقالنا المحوري عن قابلية ملاحظة الذكاء الاصطناعي.
Langfuse وOpenLLMetry: من يفعل ماذا في قابلية ملاحظة LLM؟
OpenLLMetry: القياس البرمجي
يوفّر OpenLLMetry، الذي تصونه Traceloop برخصة Apache 2.0، أدوات قياس OpenTelemetry لكثير من مزوّدي النماذج (ومنها Ollama وواجهات API المتوافقة مع OpenAI) وقواعد المتجهات (Chroma وQdrant وMilvus…) والأطر (LangChain وLangGraph وLlamaIndex وCrewAI…). تفعّلها حزمة traceloop-sdk دفعة واحدة، ولكل أداة قياس حزمة منفصلة أيضًا إن فضّلت ضبط OpenTelemetry بنفسك.
تحمل وحدات span سمات مستلهمة من الاصطلاحات الدلالية في OpenTelemetry للذكاء الاصطناعي التوليدي (gen_ai.*: النموذج المطلوب ورموز الإدخال والإخراج وغيرها). ما زالت هذه الاصطلاحات في طور الاستقرار، فقد تختلف الأسماء الدقيقة بحسب الإصدارات.
Langfuse: التحليل الخاص بـ LLM
يخزّن Langfuse التتبعات ويعرضها من زاوية LLM: شجرة الاستدعاءات والموجّهات والإجابات كاملة والتكاليف التقديرية وجلسات المستخدمين ودرجات التقييم وملاحظات المستخدمين. يمكن استضافته ذاتيًا (تصف وثائقه عمليات نشر بـ Docker Compose وKubernetes) أو استخدامه في نسخته السحابية. ونقطة دخوله لـ OpenTelemetry هي /api/public/otel عبر OTLP على HTTP (بصيغة JSON أو protobuf)؛ وبحسب الوثائق لا يُدعم gRPC حتى الآن.
وماذا عن نظام المراقبة؟
Langfuse ممتاز للفريق الذي يبني التطبيق. أما فريق التشغيل فيريد رؤية استدعاءات LLM ضمن سياق الباقي: الخدمة المستدعية وقاعدة البيانات والبنية التحتية وعمليات النشر. وهذا دور نظام مراقبة عام متوافق مع OTLP مثل Dynatrace. ويتيح OpenTelemetry تغذية الاثنين من قياس برمجي واحد.
البنية: قياس برمجي واحد ووجهتان
- يُقاس التطبيق باستخدام OpenLLMetry.
- تنطلق وحدات span عبر OTLP إلى مجمّع OpenTelemetry (Collector).
- يرسلها المجمّع في آن واحد إلى Langfuse (تحليل LLM) وإلى نظام المراقبة (رؤية من الطرف إلى الطرف).
يركّز المجمّع الأسرار، ويتيح ترشيح السمات الحساسة أو إخفاءها (فقد تحتوي الموجّهات على بيانات شخصية)، ويمنع ربط التطبيق بمزوّد بعينه.
عمليًا: تتبع تطبيق LLM باستخدام OpenTelemetry
الخطوة 1: قياس التطبيق
pip install traceloop-sdk
from traceloop.sdk import Traceloop
from traceloop.sdk.decorators import workflow
Traceloop.init(app_name="assistant-runbooks")
@workflow(name="repondre_question")
def repondre(question: str) -> str:
# appels au LLM, au retriever, etc. : instrumentés automatiquement
...
تجمع المزخرِفات (decorators) workflow وtask وagent وtool وحدات span التلقائية تحت خطوات مسمّاة. وأثناء التطوير ترسل الخيار disable_batch=True وحدات span فورًا.
الخطوة 2: التوجيه إلى المجمّع
يقرأ SDK وجهته من متغيرات البيئة. بالنسبة إلى مجمّع محلي عبر OTLP/HTTP:
export TRACELOOP_BASE_URL="http://otel-collector:4318"
# ne pas collecter le contenu des prompts et réponses :
export TRACELOOP_TRACE_CONTENT=false
تحقق في وثائق OpenLLMetry من السلوك الدقيق لهذا المتغير ولـTRACELOOP_HEADERS، ومن خيارات الخصوصية.
الخطوة 3: ضبط المجمّع لوجهتين
receivers:
otlp:
protocols:
http:
endpoint: 0.0.0.0:4318
processors:
batch: {}
exporters:
otlphttp/langfuse:
endpoint: "https://langfuse.interne/api/public/otel"
headers:
Authorization: "Basic ${env:LANGFUSE_AUTH}"
otlphttp/dynatrace:
endpoint: "https://${env:DT_ENV_ID}.live.dynatrace.com/api/v2/otlp"
headers:
Authorization: "Api-Token ${env:DT_API_TOKEN}"
service:
pipelines:
traces:
receivers: [otlp]
processors: [batch]
exporters: [otlphttp/langfuse, otlphttp/dynatrace]
المتغير LANGFUSE_AUTH هو ترميز base64 للمفتاح clé_publique:clé_secrète الخاص بمشروع Langfuse. ويجب أن يحمل رمز Dynatrace صلاحية استيعاب تتبعات OpenTelemetry. وقد يطلب Langfuse ترويسات إضافية بحسب إصداره: المرجع هو وثائق Langfuse.
الخطوة 4: التحقق في الأداتين
في Langfuse يظهر كل طلب كتتبع مع توليداته وتكلفته التقديرية ومحتوى الموجّهات. وفي نظام المراقبة تندرج وحدات span نفسها في التتبع الموزّع (distributed tracing) للخدمة المستدعية. ولربط نقرة المستخدم بالخدمة واستدعاء LLM ربطًا سليمًا، راجع OpenTelemetry من الطرف إلى الطرف.
الخطوة 5: تحديد المؤشرات المتابَعة
- زمن الاستجابة لكل خطوة (الاسترجاع والتوليد والأدوات) وفي المجموع؛
- رموز الإدخال والإخراج لكل طلب ولكل نموذج ولكل ميزة؛
- معدل الأخطاء وتجاوز المهلة في استدعاءات النموذج؛
- درجات الجودة (التقييمات وملاحظات المستخدمين) المتابَعة في Langfuse.
وبالنسبة إلى الوكلاء الذين يستدعون أدوات عبر MCP ينطبق النهج نفسه: راجع مراقبة وكلاء MCP باستخدام OpenTelemetry.
قابلية ملاحظة LLM مع Langfuse: ماذا يكشف تتبع مقيس جيدًا؟
تصبح بعض التشخيصات ممكنة بمجرد تفعيل التتبعات:
- الإجابة خاطئة: يبيّن التتبع هل أعاد المسترجِع المستندات الصحيحة. إن كان كذلك فالمشكلة في الموجّه أو النموذج، وإلا ففي الفهرسة.
- تضاعف زمن الاستجابة: نرى فورًا هل السبب التوليد (موجّه أطول أو نموذج أبطأ) أو أداة خارجية أو قاعدة المتجهات.
- تنجرف التكاليف: يكشف عدد الرموز لكل طلب سياقًا يتضخم أو حلقة وكيل أو سجل محادثة لا يُقتطع أبدًا.
- وكيل يدور في حلقة: يلفت النظر في شجرة وحدات span تكرار استدعاءات الأدوات نفسها.
أفضل الممارسات
- قرّر صراحةً هل يُجمع محتوى الموجّهات والإجابات؛ وأخفِه في المجمّع عند الحاجة.
- املأ
service.nameوالبيئة للتمييز بين الإنتاج والاختبار. - أضف معرّف جلسة أو مستخدم (بأسماء مستعارة) لتجميع التتبعات.
- خذ عيّنات من التتبعات كبيرة الحجم، لكن احتفظ بالأخطاء.
- ثبّت إصدارات أدوات القياس: فسمات
gen_ai.*ما زالت تتطور. - راقب المجمّع نفسه: إن سقط فقدت الرؤية في الوجهتين معًا.
الأسئلة الشائعة
هل نستخدم SDK الخاص بـ Langfuse أم OpenLLMetry؟
SDK الخاص بـ Langfuse هو الطريق الأقصر إن كانت Langfuse الوجهة الوحيدة. أما OpenLLMetry أو أي أداة قياس OpenTelemetry قياسية فهي الأفضل إذا كان على التتبعات أن تغذي أنظمة أخرى أيضًا.
هل يحل Langfuse محل أداة قابلية الملاحظة؟
لا. يركّز Langfuse على تطبيق LLM (الموجّهات والتكاليف والتقييمات). أما البنية التحتية والخدمات الأخرى وأهداف SLO فتبقى من شأن نظام مراقبة عام.
هل يمكن تتبع نموذج يُقدَّم محليًا؟
نعم. يقيس OpenLLMetry خصوصًا عميل Ollama وواجهات API المتوافقة مع OpenAI؛ وفي جهة الخادم راجع مراقبة Ollama لمقاييس الاستدلال.
الخلاصة
يشكّل Langfuse وOpenLLMetry ثنائيًا متناسقًا: قياس برمجي قياسي من جهة وتحليل متخصص من جهة، يربط بينهما OpenTelemetry. وبإضافة مجمّع في الوسط يخدم التتبع نفسه الفريق الذي يحسّن الموجّهات والفريق الذي يضمن موثوقية الخدمة.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.