المسار: Dynatrace SaaS · الوحدة 6/8 — سجلات OpenPipeline · المدة: نحو 75 دقيقة · المستوى: متوسط
الأهداف:
- تحديد المسارات التي تصل بها السجلات إلى Grail.
- استكشاف السجلات وتحليلها باستخدام تطبيق Logs وDQL.
- فهم مراحل OpenPipeline: التوجيه والمعالجة والاستخراج والتخزين.
- إنشاء pipeline يهيكل سجلًا ويستخرج منه مقياسًا.
المتطلبات المسبقة: الوحدات 2 (OneAgent) و3 (DQL) و5 (Davis) من المسار؛ وبيئة تجريبية تتلقى بعض السجلات بالفعل.
تتناول هذه الوحدة التدريبية سجلات OpenPipeline في Dynatrace SaaS: كيف تدخل السجلات المنصة، وكيف تجعلها قابلة للاستثمار قبل تخزينها، وكيف تستعلم عنها بعد ذلك في Grail. السجلات غالبًا أكبر المصادر حجمًا وأكثرها فوضى في أي بيئة؛ ومعالجتها جيدًا عند الدخول تغيّر جودة التحليلات والفاتورة معًا.
إذا كنت قادمًا من Managed فانسَ فكرة تخزين منفصل للسجلات: في SaaS تعيش السجلات في Grail إلى جانب التتبعات والمقاييس والأحداث، ويُستعلم عنها باللغة نفسها.
من أين تأتي السجلات؟
تغذي ثلاث عائلات كبرى من المصادر Grail:
| المصدر | المبدأ | حالة نموذجية |
|---|---|---|
| OneAgent | تكتشف وحدة السجلات ملفات العمليات المراقَبة وتدفقاتها؛ وتحدد قواعد الاستيعاب ما يُرسل. | مضيفات وعناقيد Kubernetes مجهّزة أصلًا. |
| API وOTLP | تُدفع السجلات بصيغة JSON أو بصيغة OpenTelemetry إلى واجهة الاستيعاب، غالبًا عبر ActiveGate. | تطبيقات مجهّزة بـ OpenTelemetry، ومجمّعات (collectors) قائمة. |
| التكاملات | امتدادات وتكاملات سحابية أو من جهات خارجية (Fluent Bit وخدمات السحابة وغيرها). | خدمات مُدارة يتعذر وضع وكيل عليها. |
أيًّا كان المسار، يصل كل سجل بسماته: الطابع الزمني والمحتوى والمستوى، وبحسب المصدر المضيف أو الـ pod أو الـ namespace أو الخدمة المرتبطة. هذه السمات السياقية هي كل قيمة السجلات في Dynatrace، لأنها تتيح الانتقال من سطر في سجل إلى الكيان أو التتبع أو مشكلة Davis المقابلة.
استكشاف السجلات في Grail
يقدّم تطبيق Logs استكشافًا مصفّى، عمليًا لنظرة أولى. ولتحليل قابل للتكرار، استخدم DQL في Notebook:
fetch logs, from:now()-1h
| filter loglevel == "ERROR"
| summarize nb = count(), by:{k8s.namespace.name, log.source}
| sort nb desc
| limit 20
للبحث عن نمط في المحتوى:
fetch logs, from:now()-30m
| filter contains(content, "timeout")
| fields timestamp, dt.entity.host, content
| sort timestamp desc
تتوقف الحقول المتاحة على المصدر: سجل Kubernetes يحمل سمات k8s.* وسجل مضيف تقليدي لا يحملها. ابدأ دائمًا بـ limit 10 لترى ما تحتويه سجلاتك فعلًا. ويوضح مقال تحليل أنماط السجلات كيف تنتقل من كتلة أسطر إلى بضعة أنماط متكررة.
سجلات OpenPipeline: المعالجة قبل التخزين
OpenPipeline هو طبقة معالجة البيانات الواردة في المنصة. بدل تخزين السجلات خامًا وتقطيعها عند كل استعلام، تهيكلها مرة واحدة عند الاستيعاب. يُوصف التدفق هكذا:
| المرحلة | الدور | مثال |
|---|---|---|
| مصدر الاستيعاب | نقطة دخول البيانات (OneAgent وAPI وOTLP…). | السجلات التي يرسلها OneAgent. |
| التوجيه | شرط يوجّه كل سجل إلى pipeline. | كل ما يأتي من namespace باسم paiement يذهب إلى pipeline «paiement». |
| المعالجة | التحليل (parsing) وإضافة الحقول أو إعادة تسميتها أو حذفها، والإخفاء، والتصفية. | استخراج رمز HTTP ومدة من المحتوى؛ وإخفاء عنوان بريد إلكتروني. |
| الاستخراج | إنشاء بيانات أخرى انطلاقًا من السجلات. | مقياس لعدد الأخطاء، أو حدث، أو حدث تجاري. |
| التخزين والصلاحيات | اختيار bucket في Grail (وبالتالي مدة الاحتفاظ) والسياق الأمني. | سجلات debug في bucket قصير الاحتفاظ. |
التحليل (parsing) باستخدام DQL
تُكتب معالجات المعالجة بصياغة DQL التي تعرفها. لنفترض سجل تطبيق بالشكل order=4521 status=500 duration=812ms. يمكن لمعالج أن يستخرج منه حقولًا مضبوطة الأنواع:
parse content, "LD 'status=' INT:http.status LD 'duration=' INT:duration.ms"
اختبر المعالج دائمًا على عيّنة من سجلات حقيقية، مباشرة في محرر pipeline أو في Notebook بالأمر parse نفسه، قبل تفعيله. النمط غير المطابق يترك الحقول فارغة ببساطة: الخطأ صامت.
استخراج المقاييس
عدّ الأخطاء انطلاقًا من السجلات عند كل عرض لـ dashboard مكلف. أما المقياس المستخرج بـ OpenPipeline فيُحسب مرة واحدة عند الاستيعاب، ثم يُستعلم عنه بـ timeseries كأي مقياس آخر. ويمكنه تغذية dashboard من الوحدة 4 أو كشف شذوذ من الوحدة 5. ويدفع مقال مقاييس histogram عند الاستيعاب الفكرة إلى أهداف SLO لزمن الاستجابة.
التحكم في الحجم
تصفية السجلات عديمة الفائدة (health checks وdebug في الإنتاج) من المدخل وتوجيهها إلى buckets ذات مدة احتفاظ مناسبة هما أنجع رافعتين للتحكم بالتكاليف. وثّق كل قاعدة استبعاد: السجل المحذوف عند الاستيعاب لا يمكن استرجاعه أثناء حادثة.
تمرين عملي
الخطوة 1 — جرد سجلاتك
في Notebook، عُدّ سجلات الساعة الأخيرة بحسب log.source وloglevel. النتيجة المتوقعة: جدول يُظهر المصادر الثلاثة الأكثر ثرثرة.
الخطوة 2 — اختر صيغة للهيكلة
حدّد مصدرًا يحتوي محتواه أزواج مفتاح=قيمة أو صيغة ثابتة. انسخ ثلاثة أسطر ممثِّلة. النتيجة المتوقعة: عيّنة لاختبار التحليل.
الخطوة 3 — اختبر التحليل
في Notebook، طبّق الأمر parse على المصدر المختار حتى تحصل على الحقول المنتظرة. النتيجة المتوقعة: أعمدة مضبوطة الأنواع (عدد صحيح وسلسلة) ممتلئة لكل سطر.
الخطوة 4 — أنشئ pipeline
في تطبيق OpenPipeline، قسم السجلات، أنشئ pipeline بهذا المعالج، واستخراج مقياس (مثلًا عدد الأسطر ذات حالة أكبر من أو تساوي 500)، ثم مسارًا يوجّه إليه المصدر المختار وحده. النتيجة المتوقعة: تصل السجلات الجديدة بالحقول المستخرجة.
الخطوة 5 — تحقق
بعد بضع دقائق، استعلم عن سجلات المصدر وعن المقياس الذي أنشأته بـ timeseries. النتيجة المتوقعة: قيم متسقة مع عدد الأخطاء الملاحَظ في السجلات.
اختبار قصير
- متى يعالج OpenPipeline السجلات؟
أ. عند كل استعلام DQL · ب. عند الاستيعاب قبل التخزين · ج. مرة في اليوم · د. فقط عند وجود مشكلة Davis - أي مرحلة تقرر إلى أي pipeline يذهب السجل؟
أ. التخزين · ب. التوجيه · ج. الاستخراج · د. الإخفاء - لماذا نستخرج مقياسًا بدل عدّ السجلات عند كل عرض؟
أ. لفقدان السجلات الأصلية · ب. يُجرى الحساب مرة واحدة ويصبح الاستعلام أخف · ج. لأن DQL لا تعرف العدّ · د. لا فائدة منه أبدًا - ماذا يحدث إذا لم يطابق نمط
parseالمحتوى؟
أ. يُرفض السجل · ب. تبقى الحقول المستخرجة فارغة · ج. يتوقف pipeline · د. يفتح Davis مشكلة
الإجابات
- ب — يعمل OpenPipeline على التدفق الوارد، فيُغني عن إعادة التحليل عند كل استعلام.
- ب — يوجّه شرط التوجيه كل سجل إلى pipeline المناسب.
- ب — يُحسب المقياس عند الاستيعاب ثم يُستعلم عنه بتكلفة أقل.
- ب — الفشل صامت، ومن هنا أهمية الاختبار على عيّنة حقيقية.
للمزيد
- فهرس مسار Dynatrace SaaS
- استيعاب السجلات: كشف الصمت وفجوات التغطية وزيادات الحجم
- تحليل أنماط السجلات: من البيانات الخام إلى استعلامات DQL قابلة لإعادة الاستخدام
- الوثائق الرسمية لـ Dynatrace (قسما Log Management وOpenPipeline)
← الوحدة 5: Davis والمشكلات · فهرس المسار · الوحدة 7: Workflows والأتمتة →
الأسئلة الشائعة
هل يجب المرور بـ OpenPipeline لتخزين السجلات؟
تُعالَج السجلات بإعداد افتراضي إن لم تحدد شيئًا. ويصبح إنشاء pipelines خاصة بك مفيدًا حين تريد الهيكلة أو التصفية أو الإخفاء أو استخراج المقاييس.
هل يمكن تحليل السجلات وقت الاستعلام بدل الاستيعاب؟
نعم، يعمل الأمر parse أيضًا داخل استعلام DQL. وهو مثالي للاستكشاف؛ أما الحقل المستخدم يوميًا فالتحليل عند الاستيعاب أكفأ له.
كيف نتجنب تخزين بيانات شخصية في السجلات؟
تتيح معالجة OpenPipeline إخفاء الحقول أو حذفها قبل التخزين. اجمعها مع مراجعة سجلات التطبيق عند المصدر: أفضل إخفاء هو ألا تُكتب البيانات أصلًا.
تصبح السجلات المهيكلة جيدًا مصدرًا للمقاييس والتنبيهات والتحقيقات السريعة. في الوحدة التالية ستستخدم هذه الإشارات لإطلاق إجراءات تلقائية عبر Workflows.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. لا يغني هذا المسار عن الدورات والشهادات الرسمية من Dynatrace University. تحقق دائمًا من الميزات في الوثائق الرسمية الخاصة بإصدارك.