مراقبة Azure Data Factory باستخدام Dynatrace: رصد خطوط المعالجة الفاشلة

مراقبة Azure Data Factory باستخدام Dynatrace: اربط المقاييس والسجلات، وارصد خطوط المعالجة الفاشلة أو المتأخرة، وحدّد متى تنبّه ومتى تعيد التشغيل آليًا.
Azure Data Factory Dynatrace : repérer les pipelines en échec

يتعطل خط معالجة ليلي في الثالثة فجرًا، ولا يصل إلى أحد أي تنبيه، وفي التاسعة تعرض لوحة الإدارة المالية أرقام الأمس. تقدّم مراقبة Azure Data Factory باستخدام Dynatrace جوابًا عمليًا عن هذا الموقف: أي خط معالجة (pipeline) فشل، ومنذ متى، وهل سبب الفشل في النشاط نفسه أم في الجهاز الذي ينفّذه. تطرح الشركة المزوّدة هذه الفكرة في مقالها Transforming Azure Data Factory operations with Dynatrace؛ وما يلي قراءة من منظور المشغّل، مقارنة بالوثائق الرسمية.

أنطلق من قرار تشغيلي: ماذا تريد أن يحدث حين لا ينتهي خط المعالجة؟ بحسب الجواب تختلف الإشارات التي تحتاجها. النطاق هنا هو Dynatrace SaaS؛ ولم أقرأ شيئًا عن Managed في هذا الموضوع، فلا أَعِد بشيء بشأنه.

توضيح منهجي: لم تربط span.observer هذا التكامل بمصنع بيانات حقيقي. الوقائع مأخوذة من وثائق Dynatrace والمقال المذكور، وقد قُرئت في 10 نوفمبر 2026. وما لم أستطع قراءته وسمته «غير متحقق منه».

مراقبة Azure Data Factory باستخدام Dynatrace: مصدران للإشارات

تعتمد المراقبة على تدفقين يكمّل أحدهما الآخر. الأول هو خدمة Azure التقليدية: يستعلم Dynatrace عن واجهة Azure Monitor كل 5 دقائق تقريبًا ويستخرج منها مقاييس. والثاني هو تشخيصات المصنع (diagnostics) التي تنتج سجلات لكل عملية تنفيذ. ويتحدث مقال الشركة عن استيعاب السجلات والمقاييس من Azure Monitor وربط بعضها ببعض.

الفرق بسيط: المقاييس تقول كم (كم عملية تنفيذ فشلت في هذه الساعة)، والسجلات تقول أيّها ولماذا (أي خط معالجة، وما رسالة الخطأ). يُبنى التنبيه على المقاييس، ويُجرى التحقيق في السجلات. وللاطلاع على سجلات Azure عمومًا، راجع إرسال سجلات Azure Monitor إلى Dynatrace.

ربط مقاييس Data Factory بـ Dynatrace

تشترط وثائق التكامل إصدار Dynatrace 1.199 أو أحدث، وإصدار ActiveGate للبيئة 1.195 أو أحدث. ولا تذكر أي صلاحية خاصة بالخدمة، إذ يُطبَّق نموذج الاتصال العام بـ Azure: كيان خدمة (service principal) للقراءة فقط، وActiveGate يصل إلى management.azure.com وlogin.microsoftonline.com. بل إن قوالب الأدوار المخصصة في الصفحة العامة تتضمن صلاحية القراءة Microsoft.DataFactory/*/read.

  1. تأكد من توفر ActiveGate مزوّد بوحدة Azure، من Deployment Status ثم ActiveGates.
  2. أنشئ اتصال Azure أو أعد استخدام اتصال قائم: Settings ثم Cloud and virtualization ثم Azure ثم Connect new instance.
  3. في قسم Services من الاتصال، أضف Azure Data Factory (V1, V2) عبر Manage services ثم Add service.
  4. افتح صفحة Dashboards: ستجد فيها لوحة جاهزة تضم المقاييس الموصى بها.

تفصيلان مفيدان من الصفحة. إذا كانت الخدمة مراقَبة من قبل، فقد لا تظهر اللوحة الجاهزة قبل إعادة حفظ بيانات الاعتماد (Save على النسخة). كما أن هذه اللوحة غير قابلة للتعديل: انسخها ثم عدّل النسخة.

أي المقاييس تنظر فيها أولًا

تسرد الصفحة عشرات المقاييس للإصدار 2، ولا يستحق كلها انتباهك في اليوم الأول. وهذه هي المقاييس التي تصفها الوثائق بأنها موصى بها.

المقاييس السبعة الموصى بها لـ Azure Data Factory V2 في وثائق Dynatrace مع أبعادها

اقرأها طبقة طبقة. عمليات تنفيذ خطوط المعالجة (الناجحة أو الفاشلة) تجيب عن سؤال: هل أنجز العمل؟ وعمليات تنفيذ الأنشطة، مع البعد PipelineName، تجيب عن سؤال: أي خطوة تتعطل؟ ومعالج بيئة التكامل (integration runtime) وذاكرتها يجيبان عن سؤال: هل يتحمل الجهاز الحمل؟ ويفصل البعد FailureType بين أنواع الفشل؛ ولم أتحقق من قيمه، فاطلع عليها في بياناتك قبل بناء قاعدة عليها.

تضيف المقاييس الاختيارية طابور الانتظار وزمن التأخر قبل التقاط المهمة. وهي مفيدة حين يبطؤ خط المعالجة دون أن يفشل.

سبعة مقاييس اختيارية لـ Azure Data Factory V2 في وثائق Dynatrace: طابور بيئة التنفيذ وزمن التأخر والمشغّلات الفاشلة وعدد الموارد

انتبه إلى التكلفة: الخدمات المراقَبة تستهلك وحدات Davis data units، وقد تحاسب Azure بعد مليون استدعاء للواجهة شهريًا. فعّل المقاييس الاختيارية فقط حين يكون لديك سؤال محدد.

من خط المعالجة المتأخر إلى خط المعالجة الفاشل

يفصّل مقال الشركة ما تضيفه السجلات: حالة كل عملية تنفيذ ومدتها، والزمن الذي قضته في الطابور، وزمن التنفيذ الفعلي، وحقل رسالة يحمل تفاصيل التنفيذ بما فيها الأخطاء. وهذا الفصل بين الانتظار والتنفيذ ثمين: فخط المعالجة البطيء لأنه ينتظر بيئة تنفيذ مشبعة لا يُعالَج كما يُعالَج الخط البطيء بسبب استعلام المصدر.

ولكي توجد هذه السجلات، يجب أن يرسل المصنع إعدادات التشخيص إلى وجهة يستطيع Dynatrace قراءتها. أما الأسماء الدقيقة للفئات والحقول فلا ترد في الصفحات التي قرأتها: غير متحقق منه. تحقق منها في بوابة Azure وفي عرض السجلات لديك قبل كتابة أي استعلام.

ربط خط المعالجة بقضية عمل

أطرف ما في المقال هو الخروج من الجانب التقني وحده. يقرأ نشاط Lookup قيمة عمل من المصدر (المثال المذكور هو مبيعات اليوم في جدول بيانات) ويمررها خاصية مستخدم مخصصة. عندها ترى بجانب سلامة خط المعالجة هل وصل رقم اليوم فعلًا. ويتحول الفشل من «خط المعالجة X أحمر» إلى «تقرير المبيعات غير مكتمل».

إن أعجبك هذا النهج، فانظر في أحداث الأعمال ومؤشرات الأداء لديك: المنطق نفسه، أي إعطاء إشارة تقنية معنى في سياق العمل.

تحديد رد الفعل: تنبيه، ثم إعادة تشغيل آلية؟

لنعد إلى القرار الأول. للتنبيه، اعتمد على فشل خطوط المعالجة لا على عتبة المدة: راجع إنشاء تنبيه خطوة بخطوة. أما إعادة التشغيل، فيصف المقال Workflows تستدعي واجهة REST الخاصة بـ Azure Data Factory لإعادة تشغيل خطوط المعالجة الفاشلة، ومنها خطوط فرق أخرى لم تُضبط لديها سياسة إعادة المحاولة.

وأضع احتياطًا: إعادة التشغيل دون فهم قد تضاعف عمليات الكتابة. اقصر إعادة التشغيل الآلية على خطوط المعالجة القابلة للتكرار دون أثر جانبي (idempotent)، وحدّد عدد المحاولات، واحتفظ بسجل لكل إعادة تشغيل. وتفاصيل الـ Workflow (المشغّل والمصادقة ومتن الطلب) غير موجودة في المقال: غير متحقق منها.

وفي بيئة Azure قد يأتي الفشل من الشبكة. وفي هذا الباب، استنزاف منافذ SNAT في Azure سبب ينبغي استبعاده قبل اتهام خط المعالجة.

كيف تتحقق من أن كل شيء يعمل

  1. في Dashboards، افتح لوحة Data Factory الجاهزة: يجب أن تظهر عمليات تنفيذ خطوط المعالجة.
  2. شغّل عمدًا خط معالجة تجريبيًا يفشل (بمصدر غير موجود): يجب أن يرتفع PipelineFailedRuns مع اسم خط المعالجة.
  3. تحقق من أن رسالة الخطأ في السجل تطابق الرسالة الظاهرة في بوابة Azure.
  4. إن لم يظهر شيء، أعد حفظ بيانات اعتماد الاتصال وانتظر بضع دورات مدة كل منها خمس دقائق.

ممارسات جيدة

  • ابدأ بالمقاييس السبعة الموصى بها، وأضف الباقي عند الحاجة.
  • ضع وسومًا على مصانعك في Azure: يقبل الاتصال مرشحات بالوسوم، ما يحدّ النطاق والتكلفة.
  • افصل الانتظار عن التنفيذ عند تحليل البطء.
  • اربط كل تنبيه بمسؤول عن خط معالجة بعينه، لا بفريق عام.
  • اقصر إعادة التشغيل الآلية على المعالجات القابلة للتكرار.

الأسئلة الشائعة

هل تعمل مراقبة Azure Data Factory باستخدام Dynatrace على Managed؟

لم أقرأ إلا وثائق تكامل Azure العام ووثائق خدمة Data Factory، دون أي توضيح بخصوص Managed. اعتبر الموضوع غير متحقق منه على Managed.

هل يلزم تثبيت وكيل على المصنع؟

ليس للمقاييس: فهي تأتي من واجهة Azure Monitor عبر ActiveGate. أما بيئة التكامل المستضافة ذاتيًا فتبقى جهازًا يجب مراقبته على حدة.

هل تكفي المقاييس؟

تكفي للتنبيه. ولمعرفة سبب فشل خط معالجة، تلزم رسالة الخطأ في السجلات.

الخلاصة

حدّد أولًا ما الذي ينبغي أن يطلقه فشل خط المعالجة، ثم اختر الإشارات: مقاييس للتنبيه، وسجلات للفهم، وقيم العمل لترتيب الأولويات. جرّب على مصنع اختبار قبل الإنتاج.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC (ولا لشركة Microsoft). العلامات التجارية المذكورة ملك لأصحابها. الأدوات تتغير بسرعة: تحقق من الأوامر والخيارات في الوثائق الرسمية.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Comment installer des Agent Skills Claude Code sans risque

تثبيت Agent Skills لـ Claude Code مجانًا وبأمان

Next Post
Prévisions Davis dans les tableaux de bord : décider avant la saturation

توقعات Davis في لوحات المعلومات: قرّر قبل أن تنفد السعة

Related Posts