الإخفاقات الصامتة لوكلاء الذكاء الاصطناعي هي الحالات التي يبدو فيها كل شيء ناجحًا: يعيد الطلب الحالة 200، ولا يُطلق أي استثناء، ولا يوجد span في حالة خطأ، ومع ذلك تكون الإجابة خاطئة أو ناقصة أو مبنية على نتيجة أداة سيئة. تبقى لوحة المراقبة التقليدية خضراء. وهذا هو الفخ الرئيسي في تشغيل الوكلاء.
تقترح هذه المقالة طريقة لاكتشاف إجابة خاطئة: تتبّع كل خطوة من خطوات الوكيل، وفصل الخطأ التقني عن خطأ المحتوى، ثم إرفاق نتيجة تقييم بالتتبع. أسماء السمات مأخوذة من مواصفة OpenTelemetry GenAI التي قُرئت من مصدرها. وهي صالحة لأي خادم خلفي يدعم OTLP، ومنه Dynatrace SaaS؛ ولا تُذكر هنا أي نسبة مئوية، لأنه لم تُقرأ أي نسبة في مصدر أولي.
الإخفاقات الصامتة: لماذا لا تراها التنبيهات
تطلب مواصفة OpenTelemetry ضبط حالة الـ span على Error عندما تنتهي العملية بخطأ، وتعبئة error.type. وتوضّح أيضًا أن هذه ليست قاعدة ثابتة للإجابات «الصحيحة شكلًا لكن السيئة»: فمعرفة ما إذا كانت النتيجة خطأ تتوقف على السياق. وبالنسبة إلى الوكيل، يعني ذلك أن إجابة سليمة الصياغة لكنها خاطئة لا تطلق افتراضيًا أي إشارة خطأ.
فيما يلي صور شائعة للإخفاق الصامت، عليك تكييفها مع وكيلك:
- تعيد أداة نتيجة فارغة أو قديمة ويتجاهلها الوكيل؛
- يتوقف النموذج لسبب غير المتوقع (حد الطول، مرشّح) فتأتي الإجابة مبتورة؛
- يختار الوكيل الأداة الخطأ أو يكرر الاستدعاء نفسه؛
- تكون الإجابة سلسة لكنها لا تستند إلى أي بيانات مسترجعة.
لا يُطلق أي من هذه الأوضاع خطأ HTTP. ولمتابعة تكلفة حلقة الوكيل، راجع تكلفة وكيل الذكاء الاصطناعي بالتوكنات؛ فالإشارات هي الـ spans نفسها.
تتبّع الوكيل: span لكل خطوة
تعرّف اصطلاحات GenAI، بحالة Development (أي قابلة للتغيير)، أنواعًا من الـ spans للوكلاء. يسمى span الاستدعاء invoke_agent {gen_ai.agent.name}: من النوع CLIENT لوكيل بعيد، وINTERNAL إذا كان يعمل في العملية نفسها. وينتج كل استدعاء أداة span من الشكل execute_tool {gen_ai.tool.name} من النوع INTERNAL، والسمة gen_ai.tool.name فيه إلزامية.

تجيب هذه البنية عن أول سؤال في التشخيص: أي خطوة سارت بشكل خاطئ؟ فالـ span execute_tool الذي مدته صفرية أو نتيجته فارغة يشير إلى الأداة. أما span الاستدلال الذي تحمل فيه gen_ai.response.finish_reasons قيمة غير متوقعة (سمة موصى بها، وهي مصفوفة بأسباب توقف النموذج) فيشير إلى النموذج. ولربط هذه الـ spans بين الخدمات، يبقى OpenTelemetry Collector نقطة الدخول المعتادة.
التقاط المحتوى بحذر
للحكم على إجابة لا بد من رؤيتها. تنص المواصفة على المتغير OTEL_INSTRUMENTATION_GENAI_CAPTURE_CONTENT وقيمه NO_CONTENT (الافتراضية) وSPAN_ONLY وEVENT_ONLY وSPAN_AND_EVENT. وأي قيمة غير معروفة تعود إلى NO_CONTENT.

معاملات الأدوات ونتائجها (gen_ai.tool.call.arguments وgen_ai.tool.call.result) من النوع Opt-In: تنبّه الوثائق إلى أن بعض السمات قد تحتوي معلومات حساسة. فعّل الالتقاط على عيّنة، مع إخفاء البيانات الشخصية، بدل تفعيله في كل مكان. وتوجد مسارات لاكتشاف إساءة استخدام الأدوات في المقالة عن تسميم أدوات MCP.
اكتشاف إجابة خاطئة: حدث التقييم
تعرّف المواصفة الحدث gen_ai.evaluation.result (الحالة Development، والمستوى Recommended). وهو يحمل نتيجة تقييم لمخرجات نموذج: الجودة أو الدقة أو خاصية أخرى. ويجب ربطه بالـ span الذي جرى تقييمه عند الإمكان؛ وإلا تُعبّأ السمة gen_ai.response.id.

اسم التقييم (gen_ai.evaluation.name، مثل Relevance) إلزامي. أما الدرجة الرقمية (gen_ai.evaluation.score.value) والتسمية (gen_ai.evaluation.score.label) فمطلوبتان «عند الاقتضاء»؛ ويجب أن تبقى التسمية منخفضة الكاردينالية. وإذا أخفق المقيِّم نفسه، فإن error.type يبيّن ذلك: المقيِّم المعطّل ليس إجابة حُكم بصحتها.
من يحسب الدرجة؟ لا تقول المواصفة ذلك: فهي تصف فقط كيفية نقلها. ويمكن استخدام فحص حتمي (هل تستشهد الإجابة بمصدر مسترجع؟ هل JSON صالح؟) أو حكم بشري على عيّنة أو نموذج ثانٍ. ويبقى النموذج الحَكَم قابلًا للخطأ بدوره: يجب معايرته على حالات موسومة.
من جهة Dynatrace SaaS، تذكر صفحة «Dynatrace for AI Observability»، بحسب الوثائق التي جرت مراجعتها، تقييمات مباشرة من نوع LLM-as-a-judge على تتبعات الإنتاج، تُكتب درجاتها في business events مرتبطة بالتتبعات الأصلية، وإدخالًا للبيانات عبر OpenTelemetry باستخدام اصطلاحات GenAI. ولا يُؤكَّد أي تطابق مع السمات المذكورة أعلاه: تحقق منه في الـ tenant الخاص بك.
التطبيق العملي: خطة من أربع خطوات
- زوّد الوكيل بأدوات القياس عبر مكتبة تُصدر
invoke_agentوexecute_tool؛ وتحقق من الأسماء التي تُنتَج فعلًا، لأن المواصفة قيد التطوير. - حدّد معيار نجاح لكل مهمة (إجابة مستندة إلى مصدر، أداة جرى استدعاؤها، تنسيق صالح) قبل البحث عن الشذوذ.
- أصدر نتيجة تقييم على عيّنة من الطلبات، مرتبطة بالـ span أو بـ
gen_ai.response.id. - تابع نسبة النتائج «fail» لكل إصدار من الوكيل، كمؤشر مستوى خدمة (SLI) للجودة، بهدف مستوى خدمة (SLO) يحدده الفريق، لا برقم مستعار.
لفهم سبب عدم كفاية معدل الإخفاق الخام، راجع الفرق بين قابلية الملاحظة والمراقبة. وإذا أصبح حجم التتبعات ثقيلًا، فإن tail sampling يتيح الاحتفاظ أولًا بالتتبعات ذات التقييم السيئ.
كيف تتحقق من أن الأمر يعمل
أعد تشغيل طلب تعرف إجابته المتوقعة، مع افتعال عطل في أداة (أداة تعيد قائمة فارغة). يجب أن يُظهر التتبع الـ span execute_tool، وأن يخرج التقييم فاشلًا. فإذا بقي التقييم «pass» فالمعيار فضفاض جدًا. وإذا لم يصل أي حدث، فتحقق من الربط بالـ span أو من gen_ai.response.id.
أفضل الممارسات
- فصل معدل الخطأ التقني عن معدل الإجابات التي حُكم بخطئها.
- حفظ شرح المقيِّم (
gen_ai.evaluation.explanation) للمراجعات البشرية. - الحد من التقاط المحتوى وإخفاء البيانات الحساسة.
- إعطاء الوكيل رقم إصدار (
gen_ai.agent.version) للمقارنة قبل تغيير الـ prompt وبعده. - الاحتفاظ بمجموعة حالات موسومة لإعادة معايرة المقيِّم.
الأسئلة الشائعة
ما الإخفاق الصامت في وكيل الذكاء الاصطناعي؟
هو تنفيذ ينتهي دون خطأ تقني لكن نتيجته خاطئة أو غير قابلة للاستخدام. تبقى الـ spans بلا حالة خطأ، ومن هنا الحاجة إلى تقييم المحتوى.
هل اصطلاحات OpenTelemetry GenAI مستقرة؟
لا: تشير الصفحات التي قُرئت إلى الحالة Development لـ spans الوكيل وحدث التقييم ومعظم السمات. وقد تتغير الأسماء؛ وerror.type وحدها موسومة هناك بأنها مستقرة.
هل يجب التقاط كل الـ prompts والإجابات؟
لا. الالتقاط معطّل افتراضيًا (NO_CONTENT) وقد يكون المحتوى حساسًا. فعّله على عيّنة واحمِ الوصول إليه.
الخلاصة
يتطلب اكتشاف إجابة خاطئة إشارة لا تقدمها مقاييس التوافر: تقييم للمحتوى مرتبط بالتتبع. وتوفر اصطلاحات OpenTelemetry صيغة لنقلها؛ أما معيار الجودة فيبقى على الفريق أن يحدده. وللمتابعة، راجع ضوابط وكلاء الذكاء الاصطناعي في الإنتاج.
المصادر: مستودع semantic-conventions-genai (Apache 2.0) وOpenTelemetry: Recording errors ووثائق Dynatrace (SaaS).
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا للمشاريع المذكورة. Dynatrace علامة تجارية لشركة Dynatrace LLC. العلامات المذكورة تعود إلى مالكيها. الاصطلاحات المذكورة قيد التطوير: تحقق من إصدار المواصفة قبل الاعتماد عليها.