تنبيه سجلات Dynatrace: إنشاؤه وتخفيض الضجيج

تنبيه سجلات Dynatrace: أنشئ تنبيهًا من السجلات عبر OpenPipeline أو metric event، ثم خفّض الضجيج بالنافذة والمهلة والمرشّح الدقيق.
Alerte logs Dynatrace : créer l'alerte et réduire le bruit

يحوّل تنبيه سجلات Dynatrace سطرًا في السجل إلى Problem دون انتظار أن يراجع أحدهم وحدة التحكم. والفخ المعتاد كلمتان: أكثر من اللازم أو أقل من اللازم. تنبيه على كل سطر «error» يوقظ فريق المناوبة عشر مرات لسبب واحد. وتنبيه حذر أكثر من اللازم يترك الخطأ المهم يمر.

يوضح هذا المقال كيفية إنشاء التنبيه ثم إبقائه صامتًا ما دام لا شيء يستدعي إجراءً. الجزء الرئيسي ينطبق على Dynatrace SaaS (OpenPipeline وAnomaly Detection). ويغطي قسم مستقل Dynatrace Managed، حيث تمر السلسلة عبر log metrics وmetric events. المنصتان لا تتشاركان الشاشات نفسها، لذلك لا أخلط بينهما.

باختصار: تنبيه سجلات Dynatrace

  • بحسب وثائق Dynatrace SaaS، هناك ثلاثة طرق لتنبيه سجلات Dynatrace: أحداث Davis مستخرجة من السجلات، أو مقاييس مستخرجة من السجلات مع custom alert، أو استعلام DQL داخل custom alert.
  • الحدث المستخرج هو الأسرع استجابة ولا يحتاج إلى عتبة. أما المقياس المستخرج فيتطلب ضبطًا أكثر، لكنه يتيح العتبات والمحللات.
  • يُخفَّض الضجيج في ثلاثة مواضع: المرشّح (matcher)، والنافذة المنزلقة، وقرار عدم التنبيه عند غياب البيانات في تدفق قليل الحركة.

اختيار الطريقة المناسبة لتنبيه سجلات Dynatrace (SaaS)

تقارن صفحة Alerting on logs بين الأساليب الثلاثة. وهذا خلاصتها بإعادة صياغة.

الطريقة متى التأخير التكلفة (بحسب الوثائق)
حدث Davis مستخرج من السجلات نمط نادر، بلا عتبة الأسرع عدد الأحداث وحجمها
مقياس مستخرج + custom alert عتبة أو محلل، قيمة حقل تقييم كل دقيقة نقاط البيانات وحجم المقياس
استعلام DQL في custom alert عندما تتعذر الطريقتان الأخريان تقييم كل دقيقة التعقيد والحجم الممسوح

توضح الوثائق أن استعلام DQL غير موصى به استراتيجيةً أساسية: فهو يعمل كل دقيقة وقد يزيد استهلاك الترخيص. اجعله ملاذًا أخيرًا.

من زاوية SRE القاعدة بسيطة. الحدث الفريد الخطير («قائمة التصدير ممتلئة») يستحق الحدث المستخرج. والانجراف («ارتفاع معدل الأخطاء») يستحق مقياسًا وعتبة. هذا الاختيار يحدد مباشرة حجم التنبيهات، وبالتالي toil فريق المناوبة.

إنشاء التنبيه من حدث مستخرج من السجلات

المتطلبات المسبقة

السجلات تصل إلى Dynatrace ولديك صلاحية ضبط OpenPipeline. تذكر الوثائق السياسة الافتراضية «Data Processing and Storage» مثالًا. أما عن الاستيعاب نفسه، فراجع مقال Log ingestion API.

الخطوة 1: عزل السجلات باستخدام DQL

في Logs، اكتب الاستعلام الذي يجد السطر المستهدف. يبحث مثال الوثائق عن عبارة محددة.

fetch logs
| filter matchesPhrase(content, "Dropping data because sending_queue is full")
| sort timestamp desc

افتح سجلًّا واقرأ الحقل dt.openpipeline.pipelines: فهو يبيّن أي pipeline يعالج هذا السجل.

الخطوة 2: إضافة المعالج Davis event

  1. انتقل إلى Settings > Process and contextualize > OpenPipeline > Logs > Pipelines، ثم افتح الـ pipeline المطلوب (أو أنشئ واحدًا) واختر Edit.
  2. في مرحلة Davis، أضف معالج Davis event.
  3. في Matching condition، الصق المرشّح المستخرج من استعلامك.
  4. في Event template، املأ خصائص الحدث.
matchesPhrase(content, "Dropping data because sending_queue is full")
مقتطف من وثائق Dynatrace: استعلام DQL بالدالة matchesPhrase على السجلات، وMatching condition لمعالج Davis event، وقالب حدث مع event.type بالقيمة CUSTOM_ALERT وevent.name وevent.description وdt.source_entity

يضبط قالب الوثائق event.type على CUSTOM_ALERT، مع event.name وevent.description وdt.source_entity. هذا الحقل الأخير، المأخوذ من السجل، يربط التنبيه بكيان ويساعد تحليل السبب الجذري في Davis.

الخطوة 3: توجيه السجلات إذا كان الـ pipeline جديدًا

إذا عدّلت pipeline موجودًا فلا شيء آخر مطلوب. وإلا فأنشئ مسارًا ضمن OpenPipeline > Logs > Dynamic routing بالشرط نفسه المستخدم في matcher. تعطي الوثائق قاعدتين. تُقيَّم المسارات من الأعلى إلى الأسفل، وينتصر أول مسار مطابق. ويأتي التوجيه قبل المعالجة: فحقل يُضاف أثناء المعالجة، مثل dt.entity.service، لا يصلح شرطًا للمسار.

للتعمق في الـ pipelines، راجع وحدة Logs وOpenPipeline.

تخفيض الضجيج في جهة الحدث

حدث لكل سجل هو وصفة الطوفان. هناك ثلاث رافعات.

  • matcher ضيّق. فضّل عبارة محددة على loglevel == "ERROR" وحده. كلما كان المرشّح أدق قلّت الأحداث، وتشير الوثائق إلى أن التكلفة تتبع عدد الأحداث المولّدة.
  • مهلة الانتهاء. بحسب الوثائق، يحدد الحقل dt.davis.event_timeout المدة التي يبقى فيها الـ Problem مفتوحًا دون حدث جديد. القيمة الافتراضية 15 دقيقة. ما دامت الأحداث تتكرر خلال هذه المهلة يبقى الـ Problem نفسه؛ وبلا حدث جديد يُغلق من تلقاء نفسه.
  • الاستخدام الصحيح. خصّص هذه الآلية للأنماط النادرة الجدية. أما للتدفق الكثير الكلام فانتقل إلى مقياس.

لنظرة شاملة على تخفيض الضجيج في Davis، اقرأ أيضًا تخفيض ضجيج تنبيهات Davis.

إنشاء التنبيه من مقياس مستخرج من السجلات (SaaS)

عندما تريد عتبة، استخرج مقياسًا أولًا. في الـ pipeline افتح Metric extraction، وأعطِ المقياس اسمًا ومعرّفًا، ثم أضف Matching condition نفسه. أضف أبعادًا (dimensions). ولربط السجلات بالكيانات أضف dt.source_entity أو أي حقل آخر يحتوي معرّف كيان.

ثم انتقل إلى Anomaly Detection وأنشئ custom alert بالوضع البسيط. تصف صفحة Set up custom alerts based on metrics extracted from logs أربع خطوات:

  1. تحديد نطاق التنبيه؛
  2. الإشارة إلى المقياس في DQL، مع by: {dt.source_entity} لربط التنبيه بكيان؛
  3. اختيار الشروط والمحلل اللذين يولّدان حدث Davis؛
  4. كتابة العنوان والوصف.

زران يغنيان عن التخمين. يقترح Suggest values عتبة. ويقدّر Preview عدد التنبيهات التي كانت ستصدر خلال الساعتين الأخيرتين. لا تعطي الوثائق الاستعلام الكامل للمقياس: ارجع إليها لمعرفة الصياغة الدقيقة قبل كتابته.

تعمل محللات المقاييس كل دقيقة، لذلك لا تناسب هذه الطريقة تنبيهًا فوريًا. وتوصي الوثائق أيضًا بأبعاد ذات كاردينالية منخفضة.

تخفيض الضجيج في جهة المقياس: النافذة والبيانات الغائبة

محلل العتبة الثابتة في Dynatrace SaaS، الموصوف في صفحة Anomaly detection configuration، لا يتفاعل مع عينة معزولة.

مقتطف من وثائق Dynatrace: النافذة المنزلقة الافتراضية 3 عينات من دقيقة واحدة من أصل 5، والإغلاق بعد 5 عينات طبيعية، والنافذة القصوى 60 دقيقة، والتنبيه عند غياب البيانات
  • النافذة المنزلقة. افتراضيًا يجب أن تتجاوز العتبة ثلاث عينات، مدة كل منها دقيقة، من أصل خمس لفتح حدث. ويمكن أن تصل النافذة إلى 60 دقيقة.
  • الإغلاق. افتراضيًا تغلق خمس عينات، مدة كل منها دقيقة، عادت إلى الوضع الطبيعي الحدثَ. وتُضاف المخالفات الجديدة إلى الـ Problem القائم بدل إنشاء آخر.
  • البيانات الغائبة. هذا الخيار، في الخصائص المتقدمة، يُجمع مع العتبة بالعامل OR. توصي Dynatrace بتعطيله للتدفقات قليلة الحركة لأنه قد يسبب عاصفة تنبيهات.

يرتبط هذا مباشرة بـ SLO: سجل خطأ معزول يستهلك القليل جدًا من error budget، بينما سلسلة منها داخل النافذة إشارة حقيقية. وللبيانات المتأخرة خمس دقائق، تنصح الوثائق بنافذة لا تقل عن عشر دقائق. وللمنطق نفسه مع metric events، راجع إنشاء تنبيه Dynatrace خطوة بخطوة.

Dynatrace Managed: log metric ثم metric event

في Dynatrace Managed تصف الوثائق log metrics الخاصة بـ Logs Classic. وتعطي صفحات Log metrics (Logs Classic) في وثائق Managed الخطوات.

  1. انتقل إلى Settings > Log Monitoring > Metrics extraction واختر Add log metric.
  2. أدخل المفتاح بعد البادئة الإلزامية log.، والاستعلام في Matcher، ثم Measure: «Occurrence of log records» (ابتداءً من الإصدار 1.206) أو «Attribute value» (ابتداءً من 1.229).
  3. أضف بُعدًا عند الحاجة ثم احفظ.
  4. انتقل إلى Settings > Anomaly detection > Metric events، واختر Add metric event وابنِ الحدث على مقياسك.
مقتطف من وثائق Dynatrace Managed: إنشاء log metric باسم log.error_PGI مع matcher بالقيمة status="error" والقياس Occurrence of log records والبعد dt.entityprocess_group_instance، ثم metric event

يُضبط الضجيج هنا بالـ matcher والكاردينالية. تحدد الوثائق حدودًا قدرها 1 000 000 بُعد لكل مقياس و50 000 000 للمجموع، وتنصح بتضييق الاستعلام أولًا. المقياس الجديد لا يحتوي شيئًا قبل وصول سجلات جديدة مطابقة. وتغيير المفتاح ينشئ مقياسًا جديدًا: يبقى التاريخ تحت المفتاح القديم.

تُشرح إعدادات metric event (النافذة، البيانات الغائبة) في مقال إنشاء تنبيه Dynatrace. وللحد من الإيجابيات الكاذبة في Managed، راجع الإيجابيات الكاذبة في Dynatrace Managed.

كيف تتحقق من أن كل شيء يعمل

  1. أعد تشغيل استعلام DQL في Logs وتأكد أنه يعيد الأسطر المقصودة، ولا شيء غيرها.
  2. أنتج سجلًّا مطابقًا أو انتظره، ثم افتح Problems: يجب أن يظهر Problem بالاسم والوصف المأخوذين من القالب.
  3. مع custom alert، استخدم Preview لعدّ التنبيهات التي كانت ستصدر خلال الساعتين الأخيرتين.
  4. في Managed، استعلم عن المقياس log. في Data Explorer وتحقق من أن له قيمًا قبل تفعيل metric event.

أفضل الممارسات

  • يجب أن يطلب التنبيه إجراءً بشريًا. وإلا فحوّله إلى رسم بياني.
  • اربط التنبيه دائمًا بكيان عبر dt.source_entity.
  • قدّر الحجم قبل التفعيل، ثم راجع عدد التنبيهات بعد أسبوع.
  • لإرسال الإشعارات راجع تنبيهات Dynatrace في Slack وTeams، ولإنشاء مقاييس أخرى راجع إنشاء مقياس custom.

الأسئلة الشائعة

هل يلزم مقياس أم حدث للتنبيه على السجلات؟

يكفي حدث مستخرج لنمط نادر يجب أن يفتح Problem فورًا. ويناسب المقياس الحالات التي تحتاج عتبة أو مدة أو محللًا، على حساب تقييم كل دقيقة.

لماذا لا يُطلَق تنبيه سجلات Dynatrace عندي؟

تحقق أولًا من أن matcher يطابق السجل كما يصل إلى الـ pipeline، ومن أن المسار يرسل السجل إلى الـ pipeline المعدَّل. يأتي التوجيه قبل المعالجة: فحقل يُنشأ لاحقًا لا يصلح هناك.

كيف أتجنب تدفق التنبيهات في تدفق سجلات كثير الكلام؟

ضيّق المرشّح، وانتقل إلى مقياس، ومدّد النافذة المنزلقة، وعطّل التنبيه عند غياب البيانات في تدفق قليل الحركة. وتُضاف المخالفات اللاحقة إلى الـ Problem المفتوح بدل إنشاء مشكلات جديدة.

الخلاصة

يبدأ تنبيه سجلات Dynatrace الجيد بمرشّح دقيق ويُضبط بالمدة لا بالحجم. اختر الحدث للنادر، والمقياس للانجراف، وأبقِ استعلام DQL ملاذًا أخيرًا. ويظهر المكسب في MTTR وفي عدد الليالي التي لا يُوقَظ فيها أحد بلا داعٍ. المرجع: Set up alerts based on events extracted from logs.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace وDavis علامتان تجاريتان لشركة Dynatrace LLC. المعلومات مأخوذة من الوثائق العامة؛ تحقق منها في إصدارك قبل أي تعديل في بيئة الإنتاج.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Passerelle LLM : suivre les coûts avec LiteLLM et Helicone

بوابة LLM: تتبّع التكاليف باستخدام LiteLLM وHelicone

Next Post
Recording rules Prometheus : écrire et nommer vos règles (level:metric:operations)

recording rules Prometheus: كتابة القواعد وتسميتها (level:metric:operations)

Related Posts