تقليل ضجيج التنبيهات وإرهاق المناوبة: ضبط Davis وملفات التنبيه

تقليل ضجيج التنبيهات وإرهاق المناوبة: قِس الضجيج، واضبط كشف الشذوذ في Davis، وصفِّ بملف التنبيه، في SaaS وManaged على حد سواء.
Réduire bruit, alertes et fatigue d'astreinte : régler Davis et les profils d'alerte

ثلاثون إشعارًا في الليلة، اثنان منها مفيدان: ينتهي الأمر بالمناوب إلى تجاهل القناة، وفي اليوم الذي تقع فيه حادثة حقيقية لا يتحرك أحد. إن تقليل ضجيج التنبيهات، من تنبيهات مكررة وإيجابيات كاذبة، لا يتحقق بإيقاف الإشعارات عشوائيًا. يلزم العمل على ثلاثة مستويات: كشف الشذوذ (anomaly detection)، والتوجيه بملفات التنبيه (alerting profiles)، ونوافذ الصيانة.

الهدف: في نهاية هذا الدرس ستعرف كيف تقيس الضجيج الحالي، وتضبط كشف الشذوذ لخدمة ما، وتنشئ ملف تنبيه لا يستدعي المناوب إلا عند أثر حقيقي، وتتحقق من النتيجة. المحتوى صالح لـ Dynatrace Managed وDynatrace SaaS؛ وتُذكر الفروق (Workflows وDQL).

إن كانت آلية عمل Davis ما تزال غامضة لديك، فراجع وحدة Davis والتنبيه قبل البدء.

المشكلة: تقليل ضجيج التنبيهات والإرهاق من دون فقدان الحوادث الحقيقية

للضجيج كلفة قابلة للقياس في SRE: إرهاق المناوبة، وإطالة MTTR لأن الإشارة تضيع، وعمل يدوي مكرر (toil) في الفرز. الخطأ الشائع هو رفع كل العتبات، فتفقد الكشف المبكر. النهج السليم: أبقِ الكشف واسعًا، وصفِّ ما يوقظ أحدًا.

المتطلبات المسبقة

  • بيئة Dynatrace (SaaS أو Managed) فيها خدمات يراقبها OneAgent.
  • صلاحية تعديل إعدادات البيئة.
  • رمز API مميّز (API token) بنطاقي قراءة الإعدادات وكتابتها (settings.read وsettings.write) وقراءة المشكلات (problems.read).
  • تكامل إشعارات قائم (PagerDuty أو Opsgenie أو البريد الإلكتروني أو webhook…).

الخطوة 1: قياس الضجيج الحالي

لا يمكن تقليل إلا ما يُقاس. استرجع مشكلات آخر 7 أيام:

curl -s -G "$DT_ENV/api/v2/problems" \
  -H "Authorization: Api-Token $DT_TOKEN" \
  --data-urlencode 'from=now-7d' \
  --data-urlencode 'pageSize=500' \
  | jq -r '.problems[] | [.severityLevel, .impactLevel, .title] | @tsv' \
  | sort | uniq -c | sort -rn | head -20

في SaaS يُجرى التحليل نفسه بـ DQL في Notebook:

fetch dt.davis.problems, from: now()-7d
| summarize problems = count(), by: { event.category, event.name }
| sort problems desc
| limit 20

قد تختلف أسماء حقول مشكلات Davis بحسب الإصدار: اعرض سجلًا خامًا بـ fetch dt.davis.problems | limit 1 للتأكد منها. حدّد العناوين التي تتكرر كثيرًا ولا يعقبها أي إجراء: هي أهدافك.

الخطوة 2: ضبط كشف الشذوذ لخدمة ما

لخدمة كثيرة الإنذارات (معالجة دفعية أو API داخلي متسامح مع الأخطاء)، اضبط كشفها بدل تعطيله. في إعدادات الخدمة، قسم Anomaly detection، يمكنك مثلًا:

  • تحويل كشف معدل الفشل إلى عتبة ثابتة تناسب الخدمة بدل الوضع التلقائي؛
  • رفع الحد الأدنى لعدد الطلبات في الدقيقة المأخوذ في الحسبان، لتجاهل الخدمات شبه الخاملة؛
  • تعديل حساسية كشف زمن الاستجابة.

توجد الإعدادات نفسها في API Settings v2. استرجع المخطط أولًا لمعرفة الحقول الدقيقة في إصدارك:

curl -s "$DT_ENV/api/v2/settings/schemas/builtin:anomaly-detection.services" \
  -H "Authorization: Api-Token $DT_TOKEN" | jq '.properties | keys'

curl -s -G "$DT_ENV/api/v2/settings/objects" \
  -H "Authorization: Api-Token $DT_TOKEN" \
  --data-urlencode 'schemaIds=builtin:anomaly-detection.services' \
  --data-urlencode 'scopes=SERVICE-0123456789ABCDEF' | jq '.items[0].value'

انطلق من القيمة المعادة، وعدّل الحقول المطلوبة فقط، ثم أعد إرسال الكائن بـ POST /api/v2/settings/objects مع تحديد scope الخدمة. لا تنسخ جسمًا وجدته في مكان آخر: المخطط هو المرجع. المرجع الوثائقي على docs.dynatrace.com.

الخطوة 3: ملف تنبيه لا يستدعي المناوب إلا عند الأثر

يحدد ملف التنبيه أي المشكلات تطلق إشعارًا. أنشئ ملف «مناوبة» منفصلًا عن ملف «معلومات»:

  1. رشِّح بحسب management zone أو وسم فريق، ليتلقى كل فريق خدماته فقط.
  2. لمستويي الخطورة Availability وError، أبقِ مهلة قصيرة (من 0 إلى 5 دقائق).
  3. لـ Slowdown وResource، أضف مهلة (مثلًا من 15 إلى 30 دقيقة): المشكلات التي تُحل من تلقاء نفسها قبل هذه المهلة لا ترسل إشعارًا.
  4. استبعد مستويي Custom (التنبيهات المخصصة) وMonitoring unavailable من ملف المناوبة إن لم يتطلبا إجراءً فوريًا؛ وأرسلهما إلى قناة غير مُلحّة.

المخطط المقابل في API Settings هو builtin:alerting.profile. استعلم عنه كما في الخطوة 2 قبل الأتمتة. ويرد الإعداد المفصل للملفات والتكاملات في التنبيه وملفاته وتكاملاته. وأخيرًا اربط تكامل استدعاء المناوب بهذا الملف وحده.

الخطوة 4: نوافذ الصيانة وعمليات النشر

جزء من الضجيج يأتي من العمليات المجدولة. أعلن نافذة صيانة لإعادات التشغيل وعمليات الترحيل المعروفة، بالخيار الذي يكتم التنبيهات ويحتفظ بالكشف. هكذا يحتفظ Davis بالسجل التاريخي ويمكنك تحليل النافذة لاحقًا. وبالنسبة للنشر، أرسل حدث نشر من خط النشر (pipeline): يأخذه Davis في الحسبان عند تحليل السبب.

الخطوة 5: التنبيه على SLO لا على الأعراض

تبقى أقوى رافعة هي استدعاء المناوب بحسب ميزانية الأخطاء (error budget) بدل كل شذوذ. لا ينطلق تنبيه burn rate إلا إذا تهددت الموثوقية المحسوسة. التطبيق: تنبيهات burn rate لـ SLO. في SaaS يمكن لـ Workflow أيضًا تصفية المشكلات وإثراءها قبل الإشعار؛ وفي Managed يبقى ملف التنبيه الأداة الرئيسية.

كيف تتحقق من أن الأمر يعمل

  1. أعد تشغيل استعلام الخطوة 1 بعد أسبوع وقارن عدد المشكلات المُشعَر بها.
  2. تأكد أن مشكلات Availability ما تزال ترسل إشعارًا: أجرِ اختبارًا على خدمة في بيئة ما قبل الإنتاج (إيقاف عملية) وراقب الإشعار.
  3. في صفحة المشكلة، تبيّن قائمة الإشعارات المرسلة أي ملف طُبّق.
  4. تابع مؤشرين: عدد النداءات في الأسبوع، ونسبة النداءات التي أفضت إلى إجراء. استهدف نسبة إجراء مرتفعة.

أفضل الممارسات

  • كل نداء يجب أن يكون قابلًا للتنفيذ؛ وإلا فمكانه قناة المعلومات.
  • غيّر إعدادًا واحدًا في كل مرة ودوّنه، لتعرف أيها قلّل الضجيج.
  • راجع التنبيهات المتجاهَلة في كل جلسة استرجاعية بلا لوم.
  • ضع الملفات وإعدادات الكشف تحت إدارة الإصدارات (API Settings أو Terraform).
  • لا تعطّل أبدًا كشف عدم التوافر لخفض الحجم.

الأسئلة الشائعة

هل يجب تعطيل الكشف التلقائي لتقليل الضجيج؟

نادرًا. الأفضل ضبطه لكل خدمة والتصفية على مستوى ملف التنبيه. فتعطيله يزيل أيضًا السياق المفيد لتحليل السبب.

هل تؤخر مهلة الإشعار الحوادث الحقيقية؟

بالنسبة لمستويات الخطورة المعنية، نعم، بمقدار المدة المختارة. لذلك تُخصَّص للبطء والموارد، لا لحالات عدم التوافر.

هل هذه الإعدادات متطابقة في SaaS وManaged؟

ملفات التنبيه وكشف الشذوذ ونوافذ الصيانة موجودة في الجهتين. أما Workflows وDQL فخاصة بـ SaaS.

الخلاصة

المناوبة الهادئة ليست مناوبة عمياء. قِس، واضبط الكشف خدمة بخدمة، وصفِّ بملف التنبيه، ثم انتقل تدريجيًا إلى تنبيهات ميزانية الأخطاء. النتيجة: نداءات أقل، وكل نداء له قيمته.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. قد تختلف أسماء الشاشات والحقول بحسب الإصدار: تحقق منها في الوثائق الرسمية.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
SLO Dynatrace Grafana : le comparatif avec Prometheus mis en pratique

SLO Dynatrace Grafana: مقارنة عملية مع Prometheus

Next Post
Token API Dynatrace : dépanner les scopes et les erreurs 401 et 403 (OTLP, API v2)

رمز API في Dynatrace: استكشاف أخطاء النطاقات والأخطاء 401 و403 (OTLP وAPI v2)

Related Posts