تعني قابلية ملاحظة الذكاء الاصطناعي (AI observability) أن تفهم لا فقط ما إذا كان تطبيق الذكاء الاصطناعي يستجيب، بل ما إذا كان يستجيب بشكل صحيح، وبأي تكلفة، وعبر أي مسار. أتمّت Dynatrace استحواذها على Arize، الشركة التي تقف وراء منصة Arize AX ومشروع Phoenix المفتوح المصدر. وهذه فرصة مناسبة لعرض ما يغطيه هذا الموضوع فعليًا، من النموذج الأولي الأول حتى التشغيل على نطاق واسع.
حتى الآن تعايش عالمان دون أن يتحدثا فعلًا. من جهة، يتتبع مهندسو الذكاء الاصطناعي وكلاءهم ويجرون التقييمات ويقارنون التجارب في أدوات مصممة لهم. ومن جهة أخرى، تراقب فرق SRE والمنصات الخدمات والبنية التحتية وتجربة المستخدم. وبين الاثنين ترى الفرق المعنية بالأعمال الآثار، جيدة كانت أم سيئة، دون أن ترى الأسباب.
هذا المقال نقطة الدخول إلى سلسلتنا عن قابلية ملاحظة الذكاء الاصطناعي. يصف دورة الحياة الكاملة، ويقترح طريقة عملية لتطبيقها، ويحيل إلى مقالات أكثر تركيزًا لكل مرحلة.
لماذا تتجاوز قابلية ملاحظة الذكاء الاصطناعي مراقبة التطبيقات؟
خذ مساعد دعم عملاء مرتبطًا بقاعدة مستندات. في صباح ما يخبر عشرات العملاء أن مهلة الاسترداد 30 يومًا، بينما تغيّرت السياسة إلى 14 يومًا في الأسبوع السابق. لا أخطاء HTTP، وزمن الاستجابة طبيعي، والتوافر تام. من وجهة نظر المراقبة التقليدية كل شيء أخضر. ومع ذلك، من وجهة نظر النشاط التجاري، الخدمة متعطلة.
هذه خصوصية أنظمة الذكاء الاصطناعي: قد تفشل بصمت، بإجابة معقولة وواثقة. وقد ينجز الوكيل مهمته عبر التفاف مكلف، فيستدعي الأداة نفسها خمس مرات أو يقرأ وثيقة قديمة. ولتشخيص هذه الحالات تحتاج إلى إشارات لا تقدمها قياسات التطبيق وحدها: مسار الوكيل، والسياق المسترجَع، والأدوات المستدعاة، والرموز (tokens) المستهلكة، ومقياس لجودة الإجابة.
وعلى العكس، لا تكفي قياسات الذكاء الاصطناعي وحدها. فقد تأتي الإجابة البطيئة من قاعدة بيانات متجهية مشبعة، أو عقدة GPU متعثرة، أو استدعاء شبكي لمزوّد النموذج. وقابلية الملاحظة المفيدة للذكاء الاصطناعي تربط المستويين.
ما الذي يغيّره استحواذ Dynatrace على Arize؟
تستهدف Arize مهندسي الذكاء الاصطناعي: تتبع التطبيقات والوكلاء، والتقييمات، ومجموعات البيانات، والتجارب. وتستهدف Dynatrace الفرق التي تدير البيئة الرقمية ككل. والهدف المعلن هو ربط هذين التخصصين لتغطية دورة حياة الذكاء الاصطناعي بأكملها.
بضع حقائق تستحق التذكر:
- تبقى Arize AX ومنصة Dynatrace متاحتين بشكل منفصل، ويبقى Phoenix مشروعًا مفتوح المصدر.
- يعتمد Phoenix على OpenTelemetry وعلى OpenInference، وهي اصطلاحات القياس البرمجي التي أنشأتها Arize للذكاء الاصطناعي.
- صرّحت Dynatrace بأنها تنوي دعم Phoenix والمساهمة في رعاية OpenInference. ولمتابعة التوافق المستمر مع اصطلاحات GenAI في OpenTelemetry، راجع المستودعات الرسمية للمشروعين.
- لم تُنشر خارطة طريق التكامل بعد: تقول Dynatrace إنها ستُفصَّل خلال الأشهر المقبلة.
بالنسبة إلى فريق يبدأ، النتيجة العملية بسيطة: الرهان على المعايير المفتوحة (OpenTelemetry واصطلاحات GenAI) يبقى الخيار الأقل مخاطرة أيًّا كانت الأداة النهائية. نقارن الخيارات المفتوحة المصدر في مقالنا عن Langfuse وOpenLLMetry.
المراحل الأربع لقابلية ملاحظة الذكاء الاصطناعي، من النموذج الأولي إلى الإنتاج
النموذج الأولي: شاهد ما يفعله الوكيل
منذ التجارب الأولى، تتبّع كل استدعاء للنموذج وكل استرجاع للمستندات وكل أداة مستدعاة. تُستخدم هذه التتبعات لتصحيح الأخطاء، لكنها قبل ذلك لبناء أولى أمثلة التقييم.
ما قبل الإنتاج: قيّم قبل الإطلاق
مجموعة أسئلة مرجعية، ومقيّمات (قواعد، أو مقارنة بإجابة متوقعة، أو LLM-as-a-judge أي نموذج لغوي يعمل حَكَمًا)، وعتبة جودة مدمجة في خط الإنتاج (pipeline). عندئذ يصبح تغيير الـ prompt أو النموذج قابلًا للاختبار مثل أي تغيير آخر في الشيفرة.
الإنتاج: تتبعات LLM وزمن الاستجابة والتكاليف
في التشغيل تتابع التتبعات نفسها، مُثراة بسياق البنية التحتية: زمن الاستجابة لكل خطوة، والرموز لكل طلب، والتكلفة لكل محادثة، وأخطاء المزوّد. ويضيف مهندسو SRE أهداف مستوى الخدمة لديهم، كما نشرح في ما الذي تغيّره أحمال الذكاء الاصطناعي لمهندسي SRE.
التحسين المستمر: اكتشف الانجراف
لا يبقى نظام الذكاء الاصطناعي ثابتًا أبدًا: نموذج جديد، أو prompt معدَّل، أو مستندات مضافة، أو أداة مستبدلة. يُكتشف الانجراف (drift) بالتقييم المستمر لعيّنة من الحركة الفعلية. وكل حادثة يجب أن تنتج مثالًا جديدًا في مجموعة الانحدار.
عمليًا: بناء حلقة لقابلية ملاحظة الذكاء الاصطناعي
الخطوة 1: ارسم خريطة حالات الاستخدام
اذكر التطبيقات والوكلاء في الإنتاج أو قيد التطوير، مع بيان كل واحد منها: النموذج المستخدم ومصادر البيانات والأدوات المصرّح بها وعملية الأعمال التي يخدمها والفريق المسؤول. وبدون هذا الجرد لا يمكنك معرفة ما يجب تزويده بالقياس أولًا.
الخطوة 2: زوّد بالقياس باستخدام OpenTelemetry
أضف span لكل استدعاء للنموذج مع السمات الواردة في الاصطلاحات الدلالية لـ GenAI. المثال أدناه مبسّط عن قصد، وclient_llm يمثل عميلك الخاص.
from opentelemetry import trace
tracer = trace.get_tracer("assistant-support")
def repondre(question, documents):
with tracer.start_as_current_span("chat assistant-support") as span:
span.set_attribute("gen_ai.operation.name", "chat")
span.set_attribute("gen_ai.request.model", MODELE)
span.set_attribute("app.rag.nb_documents", len(documents))
reponse = client_llm.generer(question, documents)
span.set_attribute("gen_ai.usage.input_tokens", reponse.tokens_entree)
span.set_attribute("gen_ai.usage.output_tokens", reponse.tokens_sortie)
return reponse.texte
ما زالت أسماء سمات GenAI تتطور: تحقق من إصدار الاصطلاحات الذي تدعمه مكتباتك. ولمتابعة طلب من الواجهة حتى المضيف، راجع أيضًا OpenTelemetry من البداية إلى النهاية مع Dynatrace.
الخطوة 3: عرّف المقيّمات
ابدأ صغيرًا: ثلاثة إلى خمسة معايير قابلة للقياس. مثلًا لمساعد الدعم:
evaluateurs:
- nom: reponse_fondee # does the answer cite a retrieved document?
type: llm_juge
- nom: politique_a_jour # is the cited document less than 30 days old?
type: regle
- nom: longueur_raisonnable
type: regle
max_tokens_sortie: 400
seuil_publication: 0.90
الخطوة 4: اربط بإشارات SRE والأعمال
اربط كل تتبع للذكاء الاصطناعي بخدمته ومضيفه أو pod الخاص به وحدث الأعمال المعني (تذكرة محلولة، حالة معالجة). هذا الربط هو ما يتيح لك القول إن تراجع الجودة يأتي من النموذج أو من البنية التحتية أو من البيانات. ويتناول القياس من جهة الأعمال قياس العائد على الاستثمار في الذكاء الاصطناعي.
الخطوة 5: أعد الدروس إلى الحلقة
كل إجابة حصلت على تقييم سيئ في الإنتاج تنضم إلى مجموعة الانحدار. وكل حادثة تقود إلى مقيّم أو اختبار جديد. هكذا تُغلق الحلقة: الإنتاج يغذّي التطوير.
أفضل الممارسات
- زوّد بالقياس منذ مرحلة النموذج الأولي لا عشية الإطلاق.
- تتبّع التكلفة لكل مهمة ناجحة، لا مجرد إجمالي تكلفة الرموز.
- أخفِ البيانات الشخصية أو استبعدها من الـ prompts والإجابات المتتبَّعة.
- قيّم باستمرار عيّنة من الحركة الفعلية، لا قبل كل إصدار فقط.
- أصدِر نسخًا مرقّمة من الـ prompts والنماذج ومجموعات التقييم كما تفعل مع الشيفرة.
- أبقِ إنسانًا في الحلقة عند إجراءات الوكيل عالية الأثر، وهي نقطة تتناولها الذكاء الاصطناعي والموثوقية اليومية.
يؤدي فريق المنصات دورًا محوريًا في جعل هذه الممارسات هي الافتراضية، كما يوضح استعراضنا لهندسة المنصات في 2026.
الأسئلة الشائعة
ما الفرق بين قابلية ملاحظة الذكاء الاصطناعي ومراقبة النموذج؟
تراقب مراقبة النموذج في الأساس مقاييس النموذج نفسه. أما قابلية ملاحظة الذكاء الاصطناعي فتغطي السلسلة كلها: تتبعات الوكيل والسياق والأدوات والبنية التحتية والتكاليف والآثار على الأعمال، مع إمكانية التحقيق في حالة محددة.
هل يبقى Phoenix مفتوح المصدر بعد الاستحواذ؟
نعم. بحسب إعلان Dynatrace، يبقى Phoenix متاحًا كمشروع مفتوح المصدر وتبقى Arize AX عرضًا منفصلًا. راجع المستودع الرسمي لمعرفة الحالة الراهنة للمشروع.
هل يجب انتظار التكامل بين Arize وDynatrace قبل البدء؟
لا. التزويد بالقياس عبر OpenTelemetry واصطلاحات GenAI، وبناء مجموعة تقييم، وربط التتبعات بالخدمات، كلها خطوات مفيدة الآن أيًّا كانت الأداة التي تختارها.
الخلاصة
قابلية ملاحظة الذكاء الاصطناعي ليست لوحة معلومات (dashboard) إضافية: إنها حلقة تربط بناء نظام الذكاء الاصطناعي وتشغيله وقيمته للأعمال. ويجسّد التقاء Dynatrace وArize هذا التقارب، لكن الطريقة متاحة اليوم: تتبّع، قيّم، اربط، أعِد الدروس. وللتعمق في الأسس المفتوحة راجع مستودع Phoenix على GitHub.
للاستزادة: Dynatrace completes acquisition of Arize to advance full-lifecycle AI observability (مدوّنة Dynatrace).
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا للمشاريع المذكورة. العلامات التجارية ملك لأصحابها. الأدوات تتغير بسرعة، لذا تحقق دائمًا من الأوامر والخيارات في وثائقها الرسمية.