قواعد التنبيه في Prometheus (alerting rules) تحوّل تعبير PromQL إلى تنبيه: إذا أعاد التعبير سلاسل، يصبح تنبيه نشطًا لكل سلسلة منها. كتابة القاعدة سريعة، أما جعلها موثوقة فتستغرق وقتًا أطول: اختيار العتبة المناسبة، وضبط المدة for، وإرفاق دليل تشغيل (runbook)، ثم إثبات أن القاعدة تُطلق عندما يجب وفي تلك الحالة فقط، وذلك في التكامل المستمر. تتبع هذه المقالة هذا المسار بملف قواعد واختبار promtool ونقاط الانتباه لدى فريق SRE.
تأتي المقالة امتدادًا للمقالة عن recording rules، التي تُستخدم سلسلة نسبة الأخطاء فيها هنا أساسًا للتنبيه. التنبيهات الموصوفة يقيّمها Prometheus نفسه، لا Dynatrace.
باختصار
- تحمل قاعدة التنبيه
alertوexpr، واختياريًاforوkeep_firing_forوlabelsوannotations. - مع
for، يجب أن تبقى السلسلة نشطة طوال المدة المحددة قبل الانتقال من الحالة pending إلى الحالة firing. - يتحقق
promtool check rulesمن صحة الملفات؛ ويتحققpromtool test rulesمن أن التنبيه يُطلق (أو لا يُطلق) على سلاسل مصطنعة. - لا يرسل Prometheus إشعارات بنفسه: ينقل حالة التنبيهات إلى Alertmanager.
قواعد التنبيه في Prometheus: بنية القاعدة
بحسب وثائق Prometheus عن قواعد التنبيه، تُعلن القواعد داخل مجموعة، مثل recording rules. تتضمن كل قاعدة تنبيه ما يلي:
alert: اسم التنبيه؛expr: تعبير PromQL، ويكون تنبيه نشطًا لكل مجموعة labels يعيدها؛for: المدة التي يجب أن يبقى فيها العنصر نشطًا قبل الانتقال إلى firing؛keep_firing_for: المدة التي يستمر فيها التنبيه مُطلَقًا بعد آخر مرة تحقق فيها الشرط؛labelsوannotations: معلومات تُضاف إلى التنبيه ويمكنها استخدام القوالب ($labelsو$valueو$externalLabels).
يعرّف الملف التالي تنبيهين. يعيد الأول استخدام نسبة الإخفاق من المقالة السابقة؛ ويراقب الثاني غياب استجابة هدف ما.

العتبة 0.05 واسم المهمة api ورابط دليل التشغيل قيم مثال من المقالة. كذلك تسمية severity اصطلاح حر، وليست حقلًا يفرضه Prometheus.
ضبط for وkeep_firing_for
تصف الوثائق حالتين. العنصر النشط الذي لم يبلغ بعد المدة for يكون في حالة pending. وبدون for، يصبح التنبيه نشطًا منذ أول تقييم. وهذا يكفي لتفسير لماذا توقظ عتبة مجردة المناوبة (on-call) بسبب ارتفاع مفاجئ لبضع ثوان.
for: تصفية الارتفاعات القصيرة
تذكر الصفحة أن for يزيل التنبيهات التي تستوفي الشرط لفترة وجيزة فقط. فمدة 10 دقائق على معدل أخطاء محسوب على 5 دقائق تتطلب مشكلة مستمرة. والاختيار مفاضلة: كلما طال for قلّت الإيجابيات الكاذبة، لكن يزداد زمن الاكتشاف (ومعه MTTR). اربطه بهدف مستوى الخدمة (SLO) لديك. وللتنبيه المبني على وتيرة استهلاك ميزانية الأخطاء، راجع تنبيهات burn rate على SLO.
keep_firing_for: تجنّب التذبذب
بحسب الصفحة نفسها، يساعد keep_firing_for على تجنّب تذبذب التنبيه وعلى تفادي الحلول الكاذبة الناتجة عن فجوات في البيانات. مع 5 دقائق، لا يُعلن حل التنبيه فورًا إذا هبط دون العتبة لمدة دقيقة. وبدون هذا الحقل، يتعطل التنبيه عند أول تقييم لا يتحقق فيه الشرط، بعد استيفاء المدة for.
ماذا يخزّن Prometheus؟
لكل تنبيه في حالة pending أو firing، يسجّل Prometheus سلسلة ALERTS مع labels هي alertname وalertstate (pending أو firing) وlabels التنبيه، بالقيمة 1. وتُعلَّم السلسلة بأنها قديمة عندما يغادر التنبيه تلك الحالة. لذا يمكنك الاستعلام عن سجل التنبيهات عبر PromQL، مثلًا لعدّ التنبيهات firing بحسب الاسم خلال أسبوع وتحديد القواعد الصاخبة.
لا يدير Prometheus الإشعارات بنفسه. بحسب الوثائق، يرسل حالة التنبيهات إلى Alertmanager، الذي يتولى التجميع وتحديد المعدل والإسكات والإرسال. وعليه تعتمد جودة التنبيه أيضًا على التوجيه: وللضوضاء من جهة Dynatrace، راجع تقليل ضوضاء تنبيهات Davis.
تصميم تنبيه مفيد
توصي صفحة أفضل ممارسات التنبيه بالتنبيه على الأعراض لا على الأسباب، أي على ما يمس المستخدم: زمن الاستجابة ومعدل الأخطاء، في أعلى موضع ممكن من المكدس. وتنصح أيضًا بترك هامش للحوادث الصغيرة، وبجعل التنبيهات تشير إلى اللوحات المفيدة لتحديد المكوّن المسبب. وتعامل حالة السعة التي أوشكت على النفاد بوصفها تحذيرًا لا نداءً (page).
بتطبيق ذلك على المثال: HighErrorRatio تنبيه عَرَض بخطورة page، بينما TargetDown أقرب إلى تذكرة (ticket). يقلل هذا التمييز من toil المناوبة، لأن كل نداء يجب أن يتطلب إجراءً بشريًا.
اختبار قواعد التنبيه باستخدام promtool
تصف صفحة Unit testing for rules الأمر promtool test rules test.yml. يعلن ملف الاختبار rule_files وevaluation_interval (دقيقة واحدة افتراضيًا) وقائمة اختبارات. يقدّم كل اختبار input_series وكتلة alert_rule_test للتنبيه:
eval_time: اللحظة، منذ بداية الاختبار، التي تُفحص عندها التنبيهات؛alertname: التنبيه المختبَر؛exp_alerts: التنبيهات المتوقعة، معexp_labels(labels السلسلة، من دون__name__وalertname) وexp_annotations. القائمة الفارغة تتحقق من أن التنبيه لا يُطلق.
يبدأ الترميز 0.08+0x20 من 0.08 ويضيف 0 على مدى 20 خطوة: فتبقى السلسلة ثابتة فوق العتبة.

يتحقق الاختبار من أمرين: عند 5 دقائق لم تُبلغ المدة for البالغة 10 دقائق، فلا تنبيه؛ وعند 15 دقيقة يكون التنبيه نشطًا مع labels وannotations المتوقعة. لم يُشغَّل هذا الملف من أجل المقالة لأن promtool لم يكن متاحًا في بيئة الكتابة. شغّله قبل الاعتماد عليه وصحّحه إذا أظهر إصدارك شيئًا آخر.
التحقق من القواعد في CI
بحسب مرجع promtool، يتحقق check rules من صحة ملفات القواعد. يقبل خياره --lint القيم all أو duplicate-rules أو none (الافتراضي duplicate-rules)، ويجعل --lint-fatal الأمر ينتهي بالرمز 3 عند وجود خطأ lint. وفي الاختبارات، يحصر --run التنفيذ في المجموعات التي يطابق اسمها تعبيرًا نمطيًا، ويعرض --diff (موسوم بأنه تجريبي) الفروق بين المتوقع والمستلَم.
تتسلسل في خطوة pipeline نموذجية الأوامر التالية:
promtool check rules alerts.yml rules.yml --lint=all --lint-fatal
promtool test rules test.yml --diff
لا تقدم الصفحة جدولًا عامًا لرموز الإرجاع، سوى الرمز 3 الخاص بـ--lint-fatal. في معظم أنظمة CI يؤدي رمز غير صفري إلى فشل الخطوة: تحقق من هذا السلوك في أداتك قبل الاعتماد عليه.
وهذه خطوة مراجعة ممكنة: كل تعديل على alerts.yml يجب أن يصحبه اختبار يفشل من دونه. التنبيه الذي لم يُختبر قط يهمل سريعًا. ولوضع هذا النهج في سياق قابلية الملاحظة عمومًا، راجع الفرق بين قابلية الملاحظة والمراقبة.
أفضل الممارسات
- نبّه على الأعراض التي يراها المستخدم، بخطورة تحدد الفرق بين نداء وتذكرة.
- اضبط
forبما ينسجم مع نافذة الاستعلام ومع SLO لديك، وأضفkeep_firing_forإذا تذبذب التنبيه. - ضع رابط دليل التشغيل في annotations واختبرها عبر
exp_annotations. - أدِر إصدارات القواعد واختباراتها معًا، وتحقق منها في CI.
- اختبر أيضًا الحالة التي يجب ألا يُطلق فيها التنبيه.
الأسئلة الشائعة
ماذا يحدث إذا غاب for؟
بحسب الوثائق، يصبح التنبيه نشطًا عند أول تقييم يعيد فيه التعبير سلاسل. على مقياس صاخب ينتج هذا تنبيهات قصيرة؛ ويتجنب for هذا السلوك.
هل نحتاج إلى recording rule قبل التنبيه؟
ليس ذلك إلزاميًا. يمكن أن يحمل التنبيه تعبيرًا مباشرًا. استخدام سلسلة مسجَّلة يجنّب تكرار استعلام مكلف بين لوحات المعلومات (dashboards) والتنبيهات، ويبسّط الاختبار كما في المثال.
هل يمكن إرسال هذه التنبيهات إلى Dynatrace؟
تبقى القواعد مقيَّمة من Prometheus ومنقولة إلى Alertmanager. لا توثّق هذه المقالة أي تكامل مباشر مع Dynatrace: ولتوجيه مقاييس Prometheus، راجع Prometheus وKubernetes مع Dynatrace، واطّلع على وثائق المنصة المستهدفة بخصوص التنبيهات.
خلاصة
تتكوّن قاعدة التنبيه من تعبير ومدة for وlabels وannotations. ولا قيمة لها إلا إذا اختُبرت: يجنّبك promtool check rules وpromtool test rules في CI التنبيهات الصامتة والنداءات غير المفيدة. ابدأ بقاعدة عَرَض واختبار إطلاق واختبار عدم إطلاق.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا للمشاريع المذكورة. Dynatrace علامة تجارية تعود إلى مالكها. Prometheus مشروع تابع لـCloud Native Computing Foundation. الإجراءات تتطور: تحقق دائمًا من الوثائق الرسمية قبل أي تغيير في الإنتاج.