تنبيهات معدل استهلاك SLO في Dynatrace: درس تطبيقي متعدد النوافذ (SaaS وManaged)

تنبيهات معدل استهلاك SLO في Dynatrace: أنشئ SLO، واضبط تنبيهين متعددي النوافذ بقيمتي 14.4 و6، ثم وجّههما وتحقق منهما في SaaS وManaged.
Alertes burn rate SLO dans Dynatrace : le tutoriel multi-fenêtres (SaaS et Managed)

هدف مستوى الخدمة (SLO) بلا تنبيه ليس سوى رقم على لوحة معلومات (dashboard). والتنبيه المبني على عتبة خطأ ثابتة يوقظ المهندس المناوب بسبب ارتفاع دام دقيقتين، ويفوّته تدهور بطيء يستنزف الميزانية في ثلاثة أيام. تعالج تنبيهات معدل استهلاك SLO (burn rate) المشكلتين معًا: فهي تقيس السرعة التي تستهلك بها ميزانية الأخطاء (error budget)، لا معدل الأخطاء الخام.

هدف هذا الدرس التطبيقي: إنشاء SLO في Dynatrace، وضبط تنبيهين لمعدل الاستهلاك (سريع وبطيء)، وتوجيههما إلى الفريق المناسب، والتحقق من أنهما يُطلقان. يغطي الدرس Dynatrace SaaS (أهداف SLO الجديدة على Grail) وDynatrace Managed (أهداف SLO الكلاسيكية). وتذكر كل خطوة أيهما ينطبق.

لا نظرية طويلة هنا: إن كنت جديدًا على ثقافة SRE فابدأ بمقال الذكاء الاصطناعي والموثوقية: ما يجب أن يعرفه مهندسو SRE.

تذكير سريع: SLI وSLO وميزانية الأخطاء

  • مؤشر مستوى الخدمة (SLI): القياس نفسه، مثل نسبة الطلبات الناجحة.
  • هدف مستوى الخدمة (SLO): القيمة المستهدفة خلال نافذة زمنية، مثل 99.9% على مدى 30 يومًا.
  • ميزانية الأخطاء (error budget): ما يسمح لك الهدف بتفويته، وهو هنا 0.1% من الطلبات.

معدل الاستهلاك بالأرقام

معدل الاستهلاك هو النسبة بين معدل الأخطاء المرصود ومعدل الأخطاء الذي يسمح به SLO. معدل استهلاك قيمته 1 يستهلك الميزانية تمامًا على امتداد النافذة كلها. ومعدل قيمته 10 يستهلكها أسرع عشر مرات.

المثال المرجعي لهذا المقال كله: هدف SLO بنسبة 99.9% على مدى 30 يومًا.

  • النافذة: 30 × 24 × 60 = 43200 دقيقة.
  • ميزانية الأخطاء: 0.1% من 43200 = 43.2 دقيقة من التوقف الكامل (أو ما يعادلها من الطلبات الفاشلة).
  • معدل استهلاك 14.4: معدل أخطاء 1.44%. تنفد الميزانية خلال 30 يومًا ÷ 14.4 ≈ 50 ساعة. وساعة واحدة بهذه الوتيرة تستهلك 2% من الميزانية.
  • معدل استهلاك 6: معدل أخطاء 0.6%. ست ساعات بهذه الوتيرة تستهلك 5% من الميزانية.

تنبيهات معدل استهلاك SLO متعددة النوافذ: الطريقة

يوصي Google SRE Workbook (فصل «Alerting on SLOs») بالجمع بين عدة معدلات استهلاك، ولكل منها نافذة طويلة ونافذة قصيرة:

التنبيه النافذة الطويلة النافذة القصيرة معدل الاستهلاك الميزانية المستهلكة الإجراء
سريع 1 ساعة 5 دقائق 14.4 2% استدعاء المناوب (page)
بطيء 6 ساعات 30 دقيقة 6 5% استدعاء أو تذكرة

لا يُطلق التنبيه إلا عندما تتجاوز النافذتان العتبة معًا. تضمن النافذة الطويلة أن الاستهلاك مؤثر. وتضمن النافذة القصيرة أن المشكلة ما زالت قائمة: فيُغلق التنبيه بسرعة بعد الإصلاح، ما يحسّن MTTR المقيس ويقلل الضجيج.

عمليًا

المتطلبات المسبقة

  • SaaS: بيئة على منصة Grail، ووصول إلى تطبيق Service-Level Objectives، وصلاحيات لقراءة المقاييس وكتابة أهداف SLO. الصلاحيات الدقيقة مذكورة في الوثائق.
  • Managed: إصدار حديث من العنقود (cluster)، ودور يسمح بتغيير إعدادات البيئة. وللواجهة البرمجية: رمز بصلاحيتي slo.read وslo.write.
  • خدمة تراقبها بالفعل OneAgent أو OpenTelemetry، وتتلقى حركة.

الخطوة 1: أنشئ SLO في Dynatrace SaaS

افتح تطبيق Service-Level Objectives وأنشئ SLO. ابدأ من قالب (مثل توافر الخدمة) أو من SLI مخصص مكتوب بلغة DQL. مثال على SLI للتوافر:

timeseries {
    total = sum(dt.service.request.count),
    failures = sum(dt.service.request.failure_count)
  },
  by: { dt.entity.service },
  filter: { dt.entity.service == "SERVICE-1234567890ABCDEF" }
| fieldsAdd sli = 100 * (total[] - failures[]) / total[]

الأسطر الحاسمة: يحدد failure_count ما يُحسب خطأً، وبالتالي ما يستهلك الميزانية. ويجب أن يعيد sli نسبة مئوية بين 0 و100. ثم اضبط الهدف على 99.9 والنافذة على 30 يومًا. قد تتغير أسماء المقاييس وشكل الاستعلام المتوقع، فتحقق منها في وثائق Service-Level Objectives.

الخطوة 2: أنشئ SLO في Dynatrace Managed

في Service-level objectives (أهداف SLO الكلاسيكية)، أضف SLO مبنيًا على تعبير مقياس:

(100)*(builtin:service.errors.server.successCount:splitBy())
  /(builtin:service.requestCount.server:splitBy())

أضف مرشّح كيان (مثل type("SERVICE"),tag("app:checkout"))، وهدفًا قيمته 99.9، وإطارًا زمنيًا -30d. وتقترح الشاشة أيضًا عتبة fast burn rate: اضبطها على 14.4 لتطابق التنبيه السريع.

الخطوة 3: اضبط تنبيهات معدل الاستهلاك

SaaS: من SLO استخدم خيار إنشاء التنبيه في التطبيق. يعتمد على كشف الشذوذ في Davis ويُطلق حدثًا عندما يتجاوز معدل الاستهلاك العتبة. أنشئ تنبيهًا بعتبة 14.4 وثانيًا بعتبة 6. وإن لم تتح الواجهة اختيار النافذتين معًا، فأنشئ كاشفًا مخصصًا في Anomaly Detection باستعلام DQL يحسب معدل الاستهلاك:

timeseries {
    total = sum(dt.service.request.count),
    failures = sum(dt.service.request.failure_count)
  },
  filter: { dt.entity.service == "SERVICE-1234567890ABCDEF" },
  interval: 5m
| fieldsAdd burn_rate = (failures[] / total[]) / 0.001

القيمة 0.001 هنا هي معدل الأخطاء الذي يسمح به SLO بنسبة 99.9%. يقارن الكاشف burn_rate بالقيمة 14.4، ويُحدَّد طول النافذة في إعدادات المخالفة (عدد العيّنات في نافذة منزلقة).

Managed: أضف إلى SLO تنبيه burn rate (العتبة 14.4) وتنبيه حالة (مثلًا أقل من 99.95%). وتنشئ Dynatrace أحداث المقاييس المقابلة. وللتنبيه البطيء بالعتبة 6، أنشئ حدث مقياس مخصصًا على مقياس معدل استهلاك SLO. لا تدعم أهداف SLO الكلاسيكية النافذتين معًا بشكل أصلي: قرّب ذلك باستخدام عيّنات المخالفة.

الخطوة 4: وجّه التنبيهات

يفتح التنبيهان مشكلة (problem) في Davis. والآن أرسلهما إلى المكان الصحيح:

  • Managed وSaaS (الكلاسيكي): يرشّح ملف تنبيه (alerting profile) حسب وسم الخدمة أو عنوان الحدث، ثم يرسله تكامل (PagerDuty أو Opsgenie أو البريد الإلكتروني). راجع ملفات التنبيه والتكاملات.
  • SaaS: يرسل Workflow يُشغَّل عند مشكلات Davis ويُرشَّح حسب اسم التنبيه، التنبيه السريع إلى المناوب والبطيء إلى تذكرة. راجع وحدة Workflows.

مثال تطبيقي

خدمة الدفع (checkout)، وهدف SLO بنسبة 99.9% على مدى 30 يومًا، ومليون طلب يوميًا. الميزانية: 30000 طلب فاشل في الشهر. يرفع نشر جديد معدل الأخطاء إلى 2%، أي معدل استهلاك 20. بعد 5 دقائق تتجاوز النافذة القصيرة 14.4. أما نافذة الساعة فلا تبلغ 14.4 إلا بعد نحو 43 دقيقة (14.4 ÷ 20 × 60). وبحلول ذلك يكون نحو 600 طلب قد فشل، أي 2% من الميزانية: يُستدعى المناوب. ثم يعيد التراجع (rollback) الأخطاء إلى 0.05%، فتنزل نافذة الدقائق الخمس تحت العتبة ويُغلق التنبيه.

كيف تتحقق من أنه يعمل

  1. في تطبيق SLO (SaaS) أو قائمة أهداف SLO (Managed)، يعرض الهدف حالة وميزانية أخطاء متبقية ومعدل استهلاك متسقة مع حساباتك.
  2. ارفع الهدف مؤقتًا (99.999%) على SLO تجريبي: يجب أن يفتح التنبيه السريع مشكلة.
  3. في SaaS، ابحث عن الحدث في Grail:
fetch dt.davis.events, from: now() - 24h
| filter contains(event.name, "burn")
| fields timestamp, event.name, event.status

كيّف المرشّح مع الاسم الذي أعطيته للتنبيه. وفي Managed افتح تغذية المشكلات وتحقق من تبويب الإشعارات الخاص بالمشكلة.

استكشاف الأخطاء وإصلاحها

  • يبقى SLO فارغًا: لا يعيد SLI أي بيانات. شغّل الاستعلام وحده في Notebook أو في data explorer وتحقق من مرشّح الكيان.
  • معدل استهلاك غير معقول (بالآلاف): SLI كسر (0 إلى 1) بدل نسبة مئوية، أو الحركة قريبة من الصفر. أضف حدًّا أدنى لحجم الطلبات.
  • فُتحت مشكلة دون إشعار: ملف التنبيه أو مرشّح Workflow غير مطابق. تحقق من الوسم ومن مهلة الملف.
  • تنبيهات كثيرة جدًا: النافذة القصيرة مفقودة؛ زِد عدد عيّنات المخالفة.

أفضل الممارسات

  • SLO واحد لكل رحلة مستخدم حرجة، لا لكل خدمة مصغّرة.
  • التنبيه السريع وحده يوقظ أحدًا؛ أما البطيء فيمكن أن يفتح تذكرة.
  • وثّق دليل التشغيل (runbook) في وصف التنبيه.
  • لزمن الاستجابة استخدم المدرّجات التكرارية (histograms): راجع مقاييس المدرّجات التكرارية مع OpenPipeline.
  • راجع العتبات في مراجعات ما بعد الحادثة (post-mortems) دون لوم، وبالأرقام.

الأسئلة الشائعة

لماذا 14.4 و6؟

هاتان القيمتان يقترحهما Google SRE Workbook لـ SLO مدته 30 يومًا: 2% من الميزانية في ساعة واحدة، و5% في ست ساعات. عدّلهما بحسب نافذتك ومستوى تحملك.

هل ما زالت أهداف SLO الكلاسيكية تعمل على SaaS؟

نعم في بيئات كثيرة، لكن أهداف SLO الجديدة على Grail هي المسار الموصى به. راجع جدول الترحيل الزمني في الوثائق.

هل أحتاج إلى تنبيه حالة إضافة إلى معدل الاستهلاك؟

هو مكمّل مفيد لإعداد التقارير. أما للمناوبة فمعدل الاستهلاك أكثر موثوقية: ينبّهك قبل أن تنفد الميزانية.

الخلاصة

تحلّ تنبيهان مضبوطان جيدًا محل عشرات العتبات الثابتة. يربط معدل الاستهلاك التنبيه مباشرة بميزانية الأخطاء، وبالتالي بالموثوقية التي يختبرها المستخدمون فعلًا. ابدأ بـ SLO حرج واحد، وتحقق من الأرقام في اختبار، ثم وسّع.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. ميزات SaaS تتطور بسرعة، لذا تحقق دائمًا من توافرها في بيئتك وفي الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Configurer le collector OpenTelemetry Dynatrace : traces, métriques et logs en OTLP/HTTP

إعداد OpenTelemetry Collector مع Dynatrace: التتبعات والمقاييس والسجلات عبر OTLP/HTTP

Next Post
Traces OpenTelemetry absentes de Dynatrace : checklist de dépannage OTLP en 8 étapes

تتبعات OpenTelemetry غير ظاهرة في Dynatrace: قائمة استكشاف أخطاء OTLP في 8 خطوات

Related Posts