انتهت الحادثة، والمناوب مرهق، واجتماع استخلاص الدروس يتحول إلى بحث عن المتسبب. مراجعة الحوادث بلا لوم (blameless postmortem) تغيّر السؤال: لا «من ارتكب الخطأ؟» بل «ما الذي جعل الخطأ ممكنًا في النظام وجعل اكتشافه بطيئًا؟». يقدّم هذا الدرس التطبيقي قالب وثيقة واستعلامات DQL لملئها بوقائع مأخوذة من Dynatrace.
الهدف: في نهاية الدرس سيكون بين يديك قالب مراجعة جاهز للنسخ، وخط زمني أُعيد بناؤه من مشكلات (problems) Davis والمقاييس والسجلات (logs) والـ spans، وقياس لأثر الحادثة على ميزانية الأخطاء (error budget). استعلامات DQL مخصصة لـ Dynatrace SaaS (Grail وNotebooks). أما في Dynatrace Managed فيبقى القالب صالحًا، ويتم جمع الوقائع عبر واجهة المشكلات ومستكشف البيانات وAPI v2 كما يرد أدناه.
لمراجعة كيفية تجميع Davis للأحداث في مشكلات، راجع وحدة Davis والمشكلات في مسار SaaS التدريبي.
لماذا مراجعة الحوادث بلا لوم؟ مشكلة المراجعات المبنية على الذاكرة
من دون بيانات، يُعاد بناء الخط الزمني من الذاكرة داخل سلسلة محادثة. تكون الأوقات تقريبية، ويبدو الاكتشاف أسرع مما كان، وينزلق النقاش نحو الأشخاص. أما المراجعة المبنية على استعلامات قابلة لإعادة التشغيل فيمكن التحقق منها ومقارنتها من حادثة إلى أخرى، وتوجّه الإجراءات نحو النظام. يضع فصل «Postmortem Culture» في كتاب SRE من Google المبادئ، ويوفّر هذا الدرس الأدوات لتطبيقها.
المتطلبات المسبقة
- بيئة Dynatrace SaaS مع صلاحية الوصول إلى Notebooks وقراءة المشكلات والسجلات والـ spans والمقاييس في Grail.
- معرّف مشكلة Davis المرتبطة بالحادثة (بصيغة
P-XXXXXX). - هدف مستوى الخدمة (SLO) قائم على الخدمة المتضررة، ويفضّل أن تكون له تنبيهات burn rate لـ SLO.
- مساحة مشتركة للوثيقة (wiki أو مستودع Git أو Notebook مشترك).
قالب المراجعة اللاحقة بلا لوم
انسخ هذا الهيكل في بداية كل جلسة استخلاص دروس. يرتبط كل قسم باستعلام من الدرس.
# Postmortem — <عنوان قصير، من دون اسم شخص>
الحالة: مسودة | روجعت | مغلقة
مشكلة Davis: P-XXXXXX الخطورة: ...
## الملخص (3 أسطر)
## الأثر
- المستخدمون المتأثرون، المدة، ميزانية الأخطاء المستهلكة (الاستعلام 3)
## الخط الزمني (UTC)
- بداية التدهور / الاكتشاف / التنبيه / التخفيف / الحل (الاستعلامان 1 و2)
## العوامل المساهمة
- تقنية، تنظيمية، متعلقة بالاكتشاف — وليس «خطأ بشريًا» وحده أبدًا
## ما نجح
## الإجراءات
| الإجراء | النوع (منع/اكتشاف/تخفيف) | المسؤول | الموعد النهائي |
قاعدة الكتابة: صِف الإجراءات والقرارات بحسب السياق المتاح في ذلك الوقت. «أُطلق النشر لأن فحص بيئة ما قبل الإنتاج كان أخضر» بدل «نشر Paul من دون تحقق».
الخطوة 1: إعادة بناء الخط الزمني للمشكلة
مشكلات Davis قابلة للاستعلام في Grail. يعيد هذا الاستعلام الطوابع الزمنية والكيانات المعنية:
fetch dt.davis.problems
| filter display_id == "P-XXXXXX"
| fields event.start, event.end, event.status, event.name,
root_cause_entity_id, affected_entity_ids
| sort event.start asc
قد تظهر عدة أسطر للمشكلة الواحدة لأن حالتها تتحدث مع الوقت: احتفظ بالأحدث للحقل event.end. قد تتغير أسماء الحقول؛ إن غاب أحدها فاحذف سطر fields لرؤية السجل كاملًا.
الخطوة 2: تحديد البداية الفعلية للتدهور
تُفتح المشكلة عندما يكتشف Davis شذوذًا، وغالبًا بعد البداية الفعلية. ارجع بالزمن عبر مقاييس الخدمة:
timeseries {
total = sum(dt.service.request.count),
failures = sum(dt.service.request.failure_count)
},
from: "2026-09-30T13:00:00Z", to: "2026-09-30T17:00:00Z",
interval: 1m,
filter: { in(dt.entity.service, "SERVICE-0123456789ABCDEF") }
| fieldsAdd taux_erreur = 100 * failures[] / total[]
أول فاصل يبتعد فيه taux_erreur عن خط الأساس يمثّل «بداية التدهور». والفارق بين هذه اللحظة وفتح المشكلة هو زمن الاكتشاف لديك، وهو من أهم الروافع المؤثرة في MTTR. أكمل ذلك بسجلات الأخطاء في النافذة نفسها:
fetch logs, from: "2026-09-30T13:00:00Z", to: "2026-09-30T17:00:00Z"
| filter loglevel == "ERROR"
| filter dt.entity.service == "SERVICE-0123456789ABCDEF"
| summarize erreurs = count(), by: { bin(timestamp, 1m), content }
| sort erreurs desc
| limit 20
لتجميع الرسائل المتقاربة بدل المحتويات المتطابقة، راجع تحليل أنماط السجلات.
الخطوة 3: قياس الأثر على ميزانية الأخطاء
احسب الطلبات الفاشلة أثناء الحادثة وقارنها بميزانية نافذة SLO:
timeseries {
total = sum(dt.service.request.count),
failures = sum(dt.service.request.failure_count)
},
from: "2026-09-30T13:42:00Z", to: "2026-09-30T15:10:00Z",
filter: { in(dt.entity.service, "SERVICE-0123456789ABCDEF") }
| fieldsAdd t = arraySum(total), f = arraySum(failures)
| fields t, f
مثال حسابي: SLO بنسبة 99.9% على 30 يومًا، و50 مليون طلب في النافذة، أي ميزانية قدرها 50 000 فشل. إذا كانت قيمة f تساوي 12 000 فقد استهلكت الحادثة 24% من الميزانية. هذا الرقم، وهو أوضح من المدة، يغذّي قرار تجميد الإصدارات أو عدمه: راجع ميزانية الأخطاء وبوابة الإصدار.
الخطوة 4: العثور على التتبعات الممثِّلة
يكفي تتبع أو تتبعان فاشلان لجعل المراجعة ملموسة للمطورين:
fetch spans, from: "2026-09-30T13:42:00Z", to: "2026-09-30T15:10:00Z"
| filter dt.entity.service == "SERVICE-0123456789ABCDEF"
| filter request.is_failed == true
| fields start_time, trace.id, span.name, duration
| sort duration desc
| limit 5
الصق قيم trace.id في الوثيقة: سيتمكن كل شخص من فتح التتبع الموزّع (distributed trace) والتحقق من الاستدلال.
وماذا عن Dynatrace Managed؟
من دون Grail، استرجع الخط الزمني للمشكلة عبر API v2:
curl -s "https://VOTRE-CLUSTER/e/ID-ENV/api/v2/problems?problemSelector=displayId(\"P-XXXXXX\")" \
-H "Authorization: Api-Token $DT_TOKEN" \
| jq '.problems[] | {displayId, title, startTime, endTime, rootCauseEntity}'
يحتاج الرمز المميّز (token) إلى نطاق قراءة المشكلات (problems.read). تأتي منحنيات الأخطاء من مستكشف البيانات، والسجلات من عارض السجلات. أما قالب الوثيقة فلا يتغير.
كيف تتحقق من أن الأمر يعمل
- كل طابع زمني في الخط الزمني مرتبط باستعلام قابل لإعادة التشغيل، لا بذكرى.
- شخصان يعيدان تشغيل الاستعلامات يحصلان على أرقام الأثر نفسها.
- لا تحتوي الوثيقة على اسم أي شخص في قسمي «العوامل المساهمة» و«الإجراءات»، بل أدوارًا وأنظمة فقط.
- لكل إجراء مسؤول وموعد نهائي، ومتابعة مجدولة في المراجعة التالية.
أفضل الممارسات
- احفظ الاستعلامات في Notebook مخصص للحادثة واربطه بالوثيقة.
- صنّف الإجراءات إلى منع واكتشاف وتخفيف: المراجعة التي تخلو من إجراء اكتشاف غالبًا ناقصة.
- اكتب بسرعة: مسودة خلال 48 ساعة، حين تكون البيانات والسياق حديثين.
- شارك على نطاق واسع: مراجعة يقرؤها فريق آخر تجنّب العطل نفسه في مكان آخر.
- قِس الاتجاه: تابع زمن الاكتشاف من حادثة إلى أخرى؛ فهو المؤشر على أن إجراءاتك تنجح.
الأسئلة الشائعة
هل تعني المراجعة بلا لوم غياب المسؤولية؟
لا. للإجراءات مسؤولون ومواعيد نهائية. ما يختفي هو معاقبة شخص على قرار معقول اتُّخذ بالمعلومات المتاحة له.
هل تلزم مراجعة لكل مشكلة في Davis؟
لا. خصّصها للحوادث التي تستهلك جزءًا ملحوظًا من ميزانية الأخطاء أو تمس العملاء. حدّد العتبة مسبقًا، مثل 10% من الميزانية.
هل يمكن أتمتة جمع البيانات؟
نعم، جزئيًا: يمكن لـ Workflow يُطلَق عند إغلاق مشكلة أن ينفّذ الاستعلامات ويملأ مسودة مسبقًا. تحقق من المشغّلات (triggers) والإجراءات المتاحة في وثائق بيئة SaaS لديك.
الخلاصة
تقوم المراجعة اللاحقة بلا لوم على ركيزتين: نبرة موجهة إلى النظام ووقائع قابلة للتحقق. تحوّل استعلامات DQL في هذا الدرس الخط الزمني والأثر والتتبعات إلى بيانات قابلة لإعادة التشغيل، وتمنح ميزانية الأخطاء مقياسًا مشتركًا لتحديد الأولويات.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. ميزات SaaS تتطور بسرعة: تحقق من توافرها في بيئتك وفي الوثائق الرسمية.