صباح الأحد، الساعة 9: انتهت المهمة الليلية عند السابعة بدل الثالثة، ويسأل قسم المالية عن سبب ارتفاع فاتورة Databricks. إن حاولت يومًا الإجابة عن السؤالين من واجهة الـ workspace فأنت تعرف كم يستغرق ذلك. تساعد مراقبة Databricks باستخدام Dynatrace على حلّ جزء كبير من المشكلة، بشرط اختيار الإضافة الصحيحة، فهناك إضافتان وكل واحدة تجيب عن سؤال مختلف.
يتبع هذا الدرس السيناريو التشغيلي نفسه: تحديد الإضافة التي ستُنشر، وجمع ما يلزم من الفرق المعنية، ثم معرفة ما يمكن توقعه من البيانات. مصدر المعلومات صفحات Dynatrace وDatabricks الرسمية التي روجعت في 8 نوفمبر 2026. لم ننشر الإضافة بأنفسنا، فما يلي قراءة نقدية للوثائق وليس تجربة من بيئة إنتاج.
نشرت Dynatrace أيضًا مقالًا تعريفيًا بعنوان turn Databricks telemetry into actionable decisions. أما هنا فلا ترويج، بل وجهة نظر ممارس حول ما يجب تحضيره ومواضع الخطأ المحتملة.
مراقبة Databricks باستخدام Dynatrace: أي إضافة تجيب عن سؤالك
بدل مقارنة الميزات، ابدأ من السؤال المطروح عليك.
- «هل العقدة مشبعة؟ وماذا يفعل Spark؟» تحتاج إلى قياسات تؤخذ من الأجهزة نفسها. هذا دور الإضافة القائمة على OneAgent، وتُثبَّت على كل عنقود (cluster) عبر سكربت تهيئة عام، مع تفعيل Extension Execution Controller على المضيف. تقرأ هذه الإضافة واجهات Spark وDatabricks، إضافة إلى Ganglia الذي لم يعد موجودًا منذ Databricks Runtime 13.
- «أي مهمة فشلت؟ وكم كلّفت؟ وهل يصمد نقطة النهاية الخاصة بـ model serving؟» تحتاج إلى رؤية على مستوى كل مورد. هذه إضافة Databricks Workspace التي تستعلم عن الـ workspace من الخارج عبر واجهات API وجداول النظام.
- «نعمل ببيئة serverless.» لا يدخلها أي وكيل (agent). وتقدّم صفحة إضافة Workspace نفسها بوصفها المكمّل للبيئات التي يتعذر تثبيت OneAgent فيها.
لا شيء يمنع الجمع بين الإضافتين، فالوثائق تصفهما بأنهما متكاملتان. سنتابع هنا حالة Workspace لأنها أخف في التثبيت وأقرب إلى أسئلة المالية.
SaaS أم Managed؟ الصفحتان اللتان رجعنا إليهما تنتميان إلى وثائق SaaS ولا تذكران Dynatrace Managed، ولم نتحقق من الإضافتين على Managed. لا تفترض شيئًا، واقرأ وثائق إصدارك. ولفهم دور ActiveGate راجع ActiveGate للبيئة أم للعنقود.
ما الذي يُطلب من كل فريق
نادرًا ما يتعثر النشر عند Dynatrace نفسها، فالصعوبة في الحصول على الموافقات. هذه قائمة المطلوب موزعة حسب الجهة.
من فريق الشبكات: Environment ActiveGate يصل إلى عنوان الـ workspace. وهناك تفصيل مفاجئ: يقرأ أيضًا نتائج استعلامات SQL عبر روابط موقّعة مسبقًا في التخزين السحابي، لذا يجب فتح الخروج نحو هذه النطاقات. تذكر الصفحة مثالين: *.s3.*amazonaws.com و*.blob.core.windows.net. من دون ذلك ينجح الاتصال بالـ workspace لكن جداول النظام تبقى صامتة. ولا يوجد مسار موصوف بلا ActiveGate.
من مسؤول Databricks:
- تفعيل Unity Catalog، وإلا فلا جداول نظام.
- تشغيل SQL warehouse للفوترة وللـ model serving، ويكفي معرّف warehouse موجود.
- هوية مخصصة، والأفضل service principal بدل رمز شخصي. تشترط الصفحة أن يكون مسؤولًا عن الـ workspace أو أن يملك الصلاحية Can view على المهام ونقاط النهاية المراد تتبعها، ولمقاييس Spark تُضاف Can attach to على كل عنقود.
- صلاحيات القراءة على جداول النظام.
بخصوص النقطة الأخيرة، توضح وثائق Databricks أن هذه الجداول للقراءة فقط ولا كلفة للاطلاع عليها، وإنما تُفوتَر حوسبة الاستعلام. يمر الوصول عبر USE CATALOG ثم USE SCHEMA وSELECT. وتعرض صفحة Dynatrace أوامر GRANT الخاصة بها لكل مخطط على حدة. مثالنا أدناه، بمبدأ وهمي، يغطي الفوترة والتدقيق فقط، فانسخ القائمة الكاملة من المصدر.

منك أنت، في جهة Dynatrace: رمز وصول بنطاق واحد فقط هو openTelemetryTrace.ingest، يُحفظ في خزنة أسرار وليس في مستودع شيفرة.
لمعرفة واجهات API والجداول التي يجب أن يقرأها الـ service principal بالتحديد، تعرض اللقطة التالية نطاقات API (jobs وclusters وmodel-serving وsql وinstance-pools وpipelines) وجداول النظام التسعة التي تذكرها الوثائق.

تفعيل المراقبة بهذا الترتيب
بعد الحصول على الموافقات تتلخص الضبطة في خطوات قليلة. تنشئ في Dynatrace إعداد مراقبة يتضمن عنوان الـ workspace ورمز Dynatrace، ثم إما رمز Databricks أو معرّف العميل (client ID) وسرّه الخاص بالـ service principal. لا نذكر أسماء الحقول لأن الصفحة لا تسردها، ومنها حقل معرّف الـ warehouse.
يبقى اختيار feature sets: مثل Job Metrics وResource Utilization وModel Serving Endpoint وJob Cost وSpark Executor. نصيحتي كممارس: لا تفعّل كل شيء في اليوم الأول. ابدأ بـ Job Metrics لأنه يجيب عن سؤال الأحد صباحًا، ثم أضف التكاليف حين تصبح البيانات الأولى موثوقة. كل feature set يزيد حجم البيانات المستوعبة والحمل على الـ warehouse. ويجب جمع مقياس واحد على الأقل بعد التفعيل، وإلا فلن يخبرك الإعداد بشيء مفيد.
التحقق من وصول البيانات
لا تقدّم الوثائق أي استعلام DQL. لذا فالسطران التاليان من إعدادنا، مبنيان على صيغة timeseries ومفاتيح المقاييس في الصفحة. لم ننفذهما، ولا نستخدم أي بُعد مثل اسم المهمة لأنه غير موثق.
timeseries avg(databricks.job.duration.run), from:-24h
timeseries avg(databricks.job.success_rate), from:-24h
يرسم الأول متوسط مدة التنفيذ، ويرسم الثاني نسبة النجاح. لا تحدد الصفحة الوحدة، فتحقق منها قبل اشتقاق أي عتبة. وللتوسع بعد النسخ واللصق، تشرح أوامر DQL: filter وsummarize وtimeseries كيفية تقطيع هذه السلاسل.
في الواجهة تشير الوثائق إلى ثلاثة معالم: لوحة Job Runs (مع رابط إلى التتبعات)، ولوحة Databricks Cost Management، وخدمات باسم Databricks – <اسم الـ workspace> تكون فيها كل مهمة نقطة نهاية وكل تشغيل تتبعًا موزعًا.
التأخيرات والتكاليف: سبب الفراغات في الرسوم
قبل الاعتقاد بوجود عطل، راجع هذه السلوكيات.
- لا ترسل المهمة مقاييسها وتتبعاتها إلا بعد انتهائها، فالمهمة الجارية لا تظهر.
- تصل الفوترة بتأخير نحو 8 ساعات، أما استخدام model serving واستخدام العناقيد وسجلات التدقيق فبتأخير نحو ساعة. وسّع النافذة الزمنية قبل الحكم بضياع البيانات.
- المقياس
databricks.job.costيعمل على Azure Databricks فقط. - كل قراءة لجدول نظام تستهلك حوسبة warehouse، وتُفوتِرها Databricks لا Dynatrace.
- في جهة Dynatrace تعطي الصفحة معادلات للحجم، مثل
8 * عدد المهامنقطة بيانات لمقاييس المهام، وعدد المهام * (1 + المهام الفرعية لكل مهمة)من الـ spans للتتبعات. احسب ذلك لبيئتك قبل التفعيل الواسع.
ممارسات جيدة
- service principal مخصص بصلاحيات محددة حصرًا.
- warehouse مُقاس لاستعلامات منتظمة ومتواضعة، لا لتحليلات ثقيلة.
- feature set واحد في البداية، ثم إضافة البقية واحدًا واحدًا مع مراقبة الفاتورة في الجهتين.
- ربط نسبة نجاح المهام بهدف محدد، كما في مقاييس DQL والتنبيهات.
الأسئلة الشائعة
هل أحتاج إلى OneAgent لمراقبة Databricks باستخدام Dynatrace؟
ليس مع إضافة Workspace، فهي لا تثبّت شيئًا على العناقيد. أما إضافة العنقود فتنشر OneAgent عبر سكربت تهيئة عام.
هل تعمل إضافة Workspace بدون ActiveGate؟
تشترط الوثائق وجود Environment ActiveGate ولا تصف أي مسار آخر.
ما البيانات التي تصل إلى Dynatrace؟
مقاييس المهام وتتبعاتها، والتكاليف، وmodel serving، والفوترة، ومقاييس Spark، وتوصيات تحجيم العناقيد، إضافة إلى سجلات التدقيق ونشاط العناقيد.
الخلاصة
للإجابة عن سؤال الأحد صباحًا دون تثبيت أي وكيل، تكفي إضافة Workspace: المهام والتكاليف ونقاط النهاية، مقابل ActiveGate وwarehouse وصلاحيات محددة بدقة. واحتفظ بإضافة العنقود للأسئلة على مستوى العقد. ابدأ بـ feature set واحد، ولاحظ التأخيرات، ثم وسّع.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC (ولا لـ Databricks). العلامات التجارية المذكورة ملك لأصحابها. تتغير الأدوات بسرعة، لذا تحقق دائمًا من الخيارات في الوثائق الرسمية الخاصة بإصدارك، ولا سيما صفحة إضافة Databricks Workspace.