ضوابط حماية وكلاء الذكاء الاصطناعي في الإنتاج: NeMo Guardrails وLlama Guard وOpenShell من منظور التشغيل

ضوابط حماية وكلاء الذكاء الاصطناعي: زمن الاستجابة المضاف والمقاييس ومعدل الحجب في NeMo Guardrails وLlama Guard وOpenShell من منظور التشغيل.
Garde-fous agents IA en production : NeMo Guardrails, Llama Guard et OpenShell côté exploitation

ضوابط حماية وكلاء الذكاء الاصطناعي في الإنتاج هي طبقة رقابة تُضاف بين الوكيل والنموذج والأدوات التي يستدعيها. تحجب هذه الطبقة طلبًا خطيرًا أو ترشّح إجابة أو ترفض اتصالًا شبكيًا. ولها كلفة على فريق التشغيل أيضًا: فكل فحص يضيف زمن استجابة، وقد يتعطل، وينتج قرارات يجب أن نستطيع تفسيرها لاحقًا.

لا تقارن هذه النظرة العامة جودة الكشف في الأدوات. إنها تنظر إلى ما يهم مهندس SRE: أين يوضع كل ضابط، وكم من الوقت يضيفه إلى الطلب، وما المقاييس والتتبعات التي يعرضها، وكيف نحسب معدل حجب موثوقًا. وتشكّل ثلاث عائلات مفتوحة المصدر الخيط الناظم: NVIDIA NeMo Guardrails ونماذج التصنيف من Meta (Llama Guard وPrompt Guard وLlamaFirewall) وNVIDIA OpenShell، وهي اللبنة البرمجية في Open Agent Safety Platform المعلنة في أواخر سبتمبر 2026.

لا يعتمد المحتوى على Dynatrace: فالإشارات الموصوفة تنطلق عبر OpenTelemetry أو Prometheus إلى أي نظام خلفي متوافق، ومنه Dynatrace SaaS وDynatrace Managed.

ضوابط حماية وكلاء الذكاء الاصطناعي: ثلاثة مستويات للرقابة

يفعل الوكيل ثلاثة أشياء: يستقبل نصًا، ويستدعي نموذجًا، ويتصرف (أداة أو ملف أو شبكة). وتُصنَّف الضوابط بحسب موضع تدخلها.

  • المحتوى: يقرأ مصنِّف الموجّه (prompt) أو الإجابة ويرد بـ «آمن» أو «غير آمن». وهذا دور Llama Guard 4 (12 مليار معامل، متعدد الوسائط) وLlama Prompt Guard 2 (22M و86M معاملًا، متخصص في حقن الموجّهات والـ jailbreak).
  • التنسيق: يسلسل إطار عدة فحوص قبل استدعاء النموذج وبعده. يتحدث NeMo Guardrails عن input rails وdialog rails وretrieval rails وexecution rails وoutput rails. ويجمع LlamaFirewall من جهته عدة ماسحات (PromptGuard 2 وAlignmentCheck وCodeShield وتعابير منتظمة).
  • التنفيذ: تعزل بيئة تشغيل الوكيل وتطبّق سياسة على الملفات واستدعاءات النظام والشبكة. وهذا ميدان OpenShell.
مخطط من وثائق NeMo Guardrails: تعبر شيفرة التطبيق input rails وdialog rails وretrieval rails وexecution rails وoutput rails قبل النموذج اللغوي وبعده
Source : github.com

تتكامل هذه المستويات. فمصنِّف المحتوى لا يرى أن وكيلًا يفتح اتصالًا بمضيف مجهول، وبيئة العزل لا تقرأ معنى إجابة. ولتأطير بقية السلسلة راجع أيضًا كيف نؤمّن خادم MCP.

ما المنشور عن Open Agent Safety Platform

يصف بيان NVIDIA الصادر في 28 سبتمبر 2026 منصة من جزأين: OpenShell، برنامج مفتوح المصدر يُقدَّم على أنه متاح، وSentry، تصميم مرجعي (reference system design) يراقب سلوك الوكلاء خارج النطاق على وحدات BlueField-4 DPU. ولا يعطي البيان موعد إتاحة لـ Sentry. لذلك لا يمكن تثبيت سوى OpenShell اليوم.

مستودع NVIDIA/OpenShell مرخَّص برخصة Apache 2.0. يصف ملف README بيئة معزولة (sandbox) لكل وكيل، وضوابط على مستوى النواة للملفات واستدعاءات النظام، وفحصًا للسياسة لكل اتصال شبكي صادر، وبيانات اعتماد لا تُحقن إلا نحو نقاط الوصول المعتمدة. والسلسلة 0.1.x هي الأولى التي تتبع إيقاع نشر مستقرًا: ما زال المشروع حديثًا ويجب اختباره قبل تعميمه.

زمن الاستجابة المضاف: نقيسه بدل أن نخمّنه

كل ضابط يستدعي نموذجًا يضيف رحلة استدلال (inference). ومصنِّف من 12 مليار معامل موضوع في الإدخال وفي الإخراج يضاعف هذه الكلفة. والتقدير الموثوق الوحيد هو ما تقيسه على حركتك، وحدة span بوحدة span.

يُنتج NeMo Guardrails وحدات span في OpenTelemetry عند تفعيل التتبع. يُظهر التتبع أدناه، المأخوذ من وثائقه، طلبًا من 5.34 ثانية: ثلاثة rails للإدخال تعمل بالتوازي (نحو 430 ملّي ثانية لأبطئها)، ثم استدعاء النموذج الرئيسي (4.34 ثانية)، ثم rail للإخراج (نحو 560 ملّي ثانية).

تتبع Jaeger في NeMo Guardrails: وحدة span باسم guardrails.request مدتها 5.34 ثانية مع ثلاث وحدات guardrails.rail للإدخال بالتوازي، واستدعاء النموذج اللغوي 4.34 ثانية، ووحدة rail للإخراج 559 ملّي ثانية
Source : github.com

تقلّل رافعتان هذه الكلفة الزائدة. الأولى: تشغيل الـ rails المستقلة بالتوازي، عبر parallel: True تحت rails.input وrails.output. تقصر الوثائق ذلك على rails المرتبطة بالإدخال والإخراج وتنصح بتجنب هذا الوضع إذا كان rail إدخال يعدّل الرسالة بسبب حالات التسابق. والثانية: اختيار مصنِّف بحجم مناسب. تشير Meta إلى أن Prompt Guard 2 22M يخفض زمن الاستجابة وكلفة الحوسبة بنسبة 75% مقارنة بالإصدار 86M مع خسارة ضئيلة في الأداء.

عمليًا: قياس ضابط حماية

الخطوة 1: تفعيل تتبعات NeMo Guardrails

ثبّت الإضافة الخاصة بالتتبع (pip install "nemoguardrails[tracing]" opentelemetry-sdk)، وأعدّ TracerProvider بالمصدِّر الذي تختاره، ثم أضف إلى config.yml:

tracing:
  enabled: true
  adapters:
    - name: OpenTelemetry

rails:
  input:
    parallel: True
    flows:
      - content safety check input $model=content_safety
      - topic safety check input $model=topic_control

ينتج كل طلب حينئذ وحدة span باسم guardrails.request، ثم guardrails.rail وguardrails.action لكل فحص. ويُقرأ زمن الضابط مباشرة: مدة الطلب ناقص مدة استدعاء النموذج الرئيسي.

الخطوة 2: تصدير مقاييس الحجب

تتطلب مقاييس OpenTelemetry في NeMo Guardrails محرك IORails (Guardrails(config, use_iorails=True) أو المتغير NEMO_GUARDRAILS_IORAILS_ENGINE=1) والمفتاح metrics: enabled: true. تقدّمها الوثائق على أنها تجريبية: قد تتغير الأسماء. وأنفعها:

  • guardrails.requests (عدّاد): الطلبات المعالَجة؛
  • guardrails.requests.blocked (عدّاد، السمة rail.type = Input أو Output): الطلبات التي حجبها rail؛
  • guardrails.requests.errors (عدّاد، السمة error.type): الطلبات التي انتهت بخطأ؛
  • guardrails.request.duration (مدرّج تكراري، بالثواني): المدة من الطرف إلى الطرف؛
  • gen_ai.client.operation.duration (مدرّج تكراري، بالثواني): مدة كل استدعاء للنموذج بحسب اصطلاحات GenAI في OpenTelemetry.

إذا كان نظامك الخلفي Dynatrace فاضبط زمنية العدّادات (temporality) قبل التصدير: راجع زمنية مقاييس OTLP.

الخطوة 3: حساب معدل حجب ذي معنى

يُحسب معدل الحجب لكل نوع rail: guardrails.requests.blocked{rail.type="Input"} مقسومًا على guardrails.requests في النافذة نفسها. افصله عن معدل الخطأ. فالضابط الذي ينهار لم يحجب هجومًا: لقد فشل. ويذكر سجل التغييرات في الإصدار 0.24.0 أن IORails صار يميّز بين حجب السياسة وإخفاقات تنفيذ rail. وتابع المعدل أخيرًا عبر الزمن: ارتفاع مفاجئ يدل على حملة إساءة أو على إيجابي كاذب سببه تغيير في الإعداد.

الخطوة 4: مراقبة طبقة التنفيذ في OpenShell

ينتج OpenShell ثلاث إشارات: تتبعات OTLP (البوابة ومشرفو الـ sandbox) ومقاييس Prometheus تقدّمها البوابة وأحداث أمان بصيغة OCSF. نقطة المقاييس معطّلة ما لم يُعرَّف metrics_bind_address في gateway.toml. وليس فيها أي مصادقة: فقيّد الوصول إليها بأداة المراقبة لديك.

[openshell.gateway]
metrics_bind_address = "0.0.0.0:9090"

[openshell.gateway.otlp]
endpoint = "https://backend:4317"

[openshell.gateway.otlp.ocsf]
enabled = true

أما في جانب المقاييس فراقب openshell_gateway_interceptor_latency_seconds (مدة المعترِضات) وopenshell_gateway_interceptor_evaluations_total (القرارات بحسب السمة decision) والعدّادين openshell_gateway_interceptor_fail_open_total وopenshell_gateway_interceptor_fail_closed_total. يحصي الأول أعطال المعترِض التي تركت الطلب يمر: وهو المؤشر الذي يجب التنبيه عليه أولًا. وتظهر رفوض الشبكة في سجلات الـ sandbox:

مقتطف من وثائق OpenShell: سجل sandbox بصيغة OCSF المختصرة مع اتصالين سمحت بهما السياسة github_api واتصال نحو httpbin.org مرفوض لغياب سياسة

كيف نتحقق من أن كل شيء يعمل

  1. أرسل موجّهًا عاديًا ثم موجّهًا يجب أن ترفضه سياستك. في نظام التتبعات يجب أن يُظهر الطلب الثاني guardrails.rail للإدخال ولا استدعاء للنموذج الرئيسي.
  2. تأكد من أن guardrails.requests.blocked ارتفع بمقدار 1 مع rail.type="Input".
  3. في sandbox من OpenShell، شغّل curl نحو مضيف غير مسموح: يجب أن يظهر سطر NET:OPEN [MED] DENIED في openshell logs.

أفضل الممارسات

  • حدّد ميزانية زمن استجابة للضوابط (مثلًا جزءًا من هدف SLO لزمن الاستجابة) وتابعها كمؤشر SLI.
  • قرّر مسبقًا السلوك عند العطل: fail open أو fail closed، لكل rail على حدة، ونبّه عند كل تحوّل.
  • لا تسجّل محتوى الموجّهات افتراضيًا: التقاط المحتوى في NeMo Guardrails خيار يجب تفعيله صراحةً.
  • أعد تشغيل مجموعة موجّهات مرجعية عند كل تغيير في السياسة لقياس الإيجابيات الكاذبة.
  • أبقِ المصنِّفات على بنية الاستدلال نفسها التي تشغّل نماذجك وراقبها بالطريقة ذاتها، كما هو موصوف في vLLM في الإنتاج.

الأسئلة الشائعة

هل نحتاج إلى ضابط في الإدخال وفي الإخراج؟

تلخّص بطاقة Llama Guard 4 المفاضلة: ترشيح الإدخال يوقف المحتوى الخطير قبل أي استدعاء للنموذج، وترشيح الإخراج يترك للنموذج فرصة الإجابة بشكل صحيح. والجمع بينهما يحمي أفضل، مقابل زمن استجابة أعلى.

هل تحل الضوابط محل عزل الوكيل؟

لا. المصنِّف يخطئ أحيانًا ولا يرى إجراءات النظام. وبيئة sandbox مثل OpenShell تحدّ من الضرر عندما يفشل فحص المحتوى.

هل نماذج Llama Guard مفتوحة المصدر؟

هي منشورة مع أوزانها، برخصة Llama المجتمعية (Llama 4 Community License لـ Llama Guard 4). أما أدوات التقييم في Purple Llama وLlamaFirewall فبرخصة MIT. تحقق من الشروط قبل أي استخدام تجاري.

الخلاصة

الضابط مكوّن إنتاجي كغيره: له زمن استجابة ومعدل خطأ ونمط عطل. تتبّع كل rail، واحسب الحجب والأخطاء كلًّا على حدة، وعزل تنفيذ الوكلاء. ولربط هذه الإشارات بتتبعات وكلائك تابع مع مراقبة وكلاء MCP باستخدام OpenTelemetry وLangfuse وOpenLLMetry. المصادر: NeMo Guardrails وOpenShell وPurple Llama.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Superviser un agent de code en entreprise : télémétrie, garde-fous et tableau de bord

مراقبة وكيل البرمجة في المؤسسة: القياس عن بُعد وضوابط الحماية ولوحة المعلومات

Next Post
Mistral Large 4 en auto-hébergement : ce qui est publié, dimensionnement et supervision

Mistral Large 4 بالاستضافة الذاتية: ما نُشر فعلًا وتحديد الحجم والمراقبة

Related Posts
Observabilité IA de bout en bout : ce que le rachat d'Arize par Dynatrace change, du prototype à la production

قابلية ملاحظة الذكاء الاصطناعي من البداية إلى النهاية: ما الذي يغيّره استحواذ Dynatrace على Arize، من النموذج الأولي إلى الإنتاج

قابلية ملاحظة الذكاء الاصطناعي من البداية إلى النهاية: تتبعات LLM والتقييمات والتكاليف والانجراف، وما الذي يغيّره استحواذ Dynatrace على Arize.
Read More