يوم الجمعة، الساعة 16:00: تنطلق عملية نشر في الإنتاج بينما استهلكت الخدمة 90% من ميزانية أخطاء الشهر. لم يتحقق أحد من ذلك، لأن المعلومة موجودة في لوحة معلومات لا يقرؤها خط CI/CD. وتحل بوابة الإصدار وميزانية الأخطاء هذه المشكلة: يستعلم خط CI/CD من Dynatrace قبل النشر ويتوقف إن كانت الميزانية منخفضة جدًا.
هدف هذا الدرس التطبيقي بناء بوابة إصدار تحسب ميزانية الأخطاء المتبقية لخدمة ما، وتقارنها بعتبة، وتعيد حكمًا يستطيع خط المعالجة استخدامه. تستخدم نسخة Dynatrace SaaS مهمة Workflow من نوع DQL ومهمة JavaScript. أما نسخة Dynatrace Managed التي لا تتوفر فيها أداة Workflows فتقرأ الـ SLO عبر واجهة API الإصدار v2.
يفترض هذا الدرس أن لديك SLO معرَّفًا. وإن لم يكن كذلك فابدأ بـ تنبيهات burn rate لـ SLO في Dynatrace التي تشرح حساب الميزانية بالتفصيل.
مبدأ بوابة الإصدار وميزانية الأخطاء
ميزانية الأخطاء هي ما يسمح الـ SLO بإخفاقه. فمع هدف 99.9% على 30 يومًا تساوي الميزانية 0.1% من الطلبات. وما دام منها شيء متبقٍ يواصل الفريق التسليم. وحين تكاد تنفد يبطئ ويعطي الأولوية للموثوقية. هذه هي سياسة ميزانية الأخطاء الموصوفة في أدبيات SRE.
تطبق البوابة هذه السياسة دون اجتماع:
- الميزانية المتبقية ≥ 25%: يتابع النشر.
- الميزانية المتبقية < 25%: يُمنع النشر، إلا إذا كان إصلاحًا للموثوقية وافق عليه فريق المناوبة.
- معدل burn rate مرتفع خلال الساعة الأخيرة: يُمنع النشر أيضًا، لأن حادثة تشغيلية (incident) جارية.
العتبات مجرد أمثلة. حدّدها مع فريق المنتج ودوّنها في سياسة ميزانية الأخطاء لديك.
المتطلبات المسبقة
- SaaS: بيئة على Grail، والوصول إلى تطبيق Workflows، وصلاحيات قراءة المقاييس. ولتشغيل الـ Workflow من CI: عميل OAuth أو platform token يملك حقوق تنفيذ Workflows وقراءتها (نطاقات من نوع
automation:workflows:runوautomation:workflows:read؛ تحقق من الأسماء الدقيقة في الوثائق). - Managed: SLO كلاسيكي موجود، ورمز API مميّز بالنطاق
slo.read، والأداتانcurlوjqعلى وكيل CI. - خدمة تراقبها OneAgent أو OpenTelemetry، بحركة منتظمة. لخيار OpenTelemetry راجع OpenTelemetry Collector نحو Dynatrace.
الخطوات في Dynatrace SaaS
الخطوة 1: اكتب استعلام DQL للميزانية
جرّب الاستعلام أولًا في Notebook. يحسب مؤشر SLI على 30 يومًا والميزانية المتبقية ومعدل burn rate للساعة الأخيرة:
timeseries {
total = sum(dt.service.request.count),
failures = sum(dt.service.request.failure_count)
},
from: now() - 30d,
filter: { dt.entity.service == "SERVICE-1234567890ABCDEF" }
| fieldsAdd t = arraySum(total), f = arraySum(failures)
| fieldsAdd sli = 100 * (t - f) / t
| fieldsAdd budget_restant = 100 * (1 - (f / t) / 0.001)
| fields sli, budget_restant
الأسطر الحاسمة: القيمة 0.001 تمثل الخطأ المسموح به في SLO بنسبة 99.9%. والحقل budget_restant يساوي 100 حين لا يقع أي خطأ، ويصبح سالبًا حين تُتجاوز الميزانية. ولحساب burn rate الأخير، انسخ الاستعلام مع from: now() - 1h واحسب (f / t) / 0.001. وإن كنت تستخدم أصلًا SLO في تطبيق Service-Level Objectives، فاحتفظ بتعريف SLI نفسه ليعرض كل من البوابة والـ SLO الأرقام ذاتها.
الخطوة 2: أنشئ الـ Workflow
- افتح Workflows وأنشئ Workflow باسم
release-gate-checkout. - أبقِ مشغّلًا عند الطلب (on demand): فخط المعالجة هو من سيشغّله.
- أضف مهمة Execute DQL Query باسم
budgetمع استعلام الخطوة 1. - أضف مهمة Run JavaScript باسم
verdictتعتمد علىbudget.
شيفرة المهمة verdict:
import { execution } from '@dynatrace-sdk/automation-utils';
const SEUIL = 25; // budget restant minimal en %
export default async function ({ execution_id }) {
const ex = await execution(execution_id);
const res = await ex.result('budget');
const ligne = res.records[0];
if (!ligne || ligne.budget_restant === null) {
throw new Error('Aucune donnée : porte fermée par prudence');
}
const budget = Number(ligne.budget_restant);
if (budget < SEUIL) {
throw new Error(`Budget restant ${budget.toFixed(1)} % < ${SEUIL} % : déploiement bloqué`);
}
return { budget, decision: 'go' };
}
الأسطر الحاسمة: الاستثناء يُفشل المهمة، ومن ثم تنفيذ الـ Workflow كله، فلا يقرأ خط المعالجة سوى حالة واحدة. وغياب البيانات يغلق البوابة: مؤشر صامت يجب ألا يُعدّ ضوءًا أخضر أبدًا. وقد يتغير الشكل الدقيق لنتيجة مهمة DQL، فاعرضها مرة واحدة بالأمر console.log(res) للتأكد من المسار records.
الخطوة 3: استدعِ البوابة من خط المعالجة
مثال بلغة bash، يصلح في GitLab CI أو GitHub Actions أو Jenkins:
#!/usr/bin/env bash
set -euo pipefail
BASE="https://${DT_ENV}.apps.dynatrace.com/platform/automation/v1"
AUTH="Authorization: Bearer ${DT_PLATFORM_TOKEN}"
EXEC_ID=$(curl -sf -X POST "$BASE/workflows/${WF_ID}/run" \
-H "$AUTH" -H "Content-Type: application/json" -d '{}' | jq -r '.id')
for i in $(seq 1 30); do
STATE=$(curl -sf "$BASE/executions/${EXEC_ID}" -H "$AUTH" | jq -r '.state')
case "$STATE" in
SUCCESS) echo "Porte ouverte"; exit 0 ;;
ERROR|CANCELLED) echo "Porte fermée ($STATE)"; exit 1 ;;
esac
sleep 10
done
echo "Délai dépassé : porte fermée"; exit 1
الأسطر الحاسمة: .id هو معرّف التنفيذ؛ و.state يمر بالحالة RUNNING ثم بحالة نهائية. تحقق من المسارات وقيم الحالة في وثائق Workflows ومرجع واجهة Automation API. والمهلة القصوى تغلق البوابة هي أيضًا، احتياطًا.
الخطوة المكافئة في Dynatrace Managed
لا تتوفر Workflows في Managed. يقرأ خط المعالجة الـ SLO الكلاسيكي مباشرة عبر واجهة Environment API v2:
SLO=$(curl -sf "https://${DT_DOMAIN}/e/${DT_ENV_ID}/api/v2/slo/${SLO_ID}?timeFrame=CURRENT" \
-H "Authorization: Api-Token ${DT_API_TOKEN}")
BUDGET=$(echo "$SLO" | jq -r '.errorBudget')
echo "Error budget : $BUDGET"
# errorBudget est exprimé en points de pourcentage du SLI (ex. 0.08 sur une cible de 99,9)
awk -v b="$BUDGET" 'BEGIN { exit !(b >= 0.025) }' || { echo "Porte fermée"; exit 1; }
يعيد الحقل errorBudget الهامش بين مؤشر SLI والهدف، لا نسبة مئوية من الميزانية الأصلية. ومع هدف 99.9 يساوي الهامش الأقصى 0.1، فتقابل 25% من الميزانية القيمة 0.025. تأكد من دلالة الحقل ومن المعامل timeFrame في وثائق واجهة SLO لإصدار عنقودك.
كيف تتأكد أن كل شيء يعمل
- حالة النجاح: شغّل الـ Workflow يدويًا. يجب أن ينتهي التنفيذ بنجاح، وأن تعرض نتيجة
verdictالقيمةdecision: "go"مع الميزانية. - حالة الإيقاف: اجعل
SEUILمؤقتًا 101. يجب أن يفشل التنفيذ برسالة «déploiement bloqué»، وأن ينتهي سكربت خط المعالجة بالرمز 1. - حالة غياب البيانات: استبدل معرّف الخدمة بمعرّف غير موجود. يجب أن تُغلق البوابة.
- التتبع: في Workflows تحتفظ علامة تبويب التنفيذات بكل حكم. وفي Managed احتفظ بمخرجات مهمة CI.
أعد بعد ذلك القيم الحقيقية. اختبار لم يرَ البوابة مغلقة قط لا يثبت شيئًا.
أفضل الممارسات
- وفّر استثناءً صريحًا (متغير في خط المعالجة أو موافقة يدوية) لإصلاحات الموثوقية: فمنع إصلاح حادثة تشغيلية يزيد زمن الاستعادة (MTTR).
- هدف SLO واحد لكل رحلة مستخدم لا لكل خدمة مصغّرة. وتقرأ بوابة الخدمة الـ SLO الخاص بالرحلة التي تخدمها.
- اجمع بين الميزانية المتبقية ومعدل burn rate الأخير: ميزانية واسعة لا تحمي من حادثة جارية.
- بعد كل منع أجرِ مراجعة دون لوم (blameless): البوابة تنبّه إلى خطر ولا تحدد مذنبًا.
- لعمليات تحقق أغنى (أهداف متعددة، ومقارنة قبل/بعد) راجع Site Reliability Guardian في الوثائق، فهو يلبي الحاجة نفسها في جانب SaaS.
- أدِر الـ Workflows كما تدير الشيفرة: راجع وحدة Workflows والأتمتة.
الأسئلة الشائعة
لماذا لا نقرأ الـ SLO مباشرة داخل Workflow في SaaS؟
هذا ممكن إن كان الـ SLO يعرض قيمه عبر DQL أو إجراء مخصص. وللاستعلام الصريح ميزة: الحساب مرئي وقابل للاختبار في Notebook. احتفظ بتعريف واحد لمؤشر SLI لتجنب حقيقتين.
أي عتبة أختار للمنع؟
ابدأ بعتبة واسعة (25% مثلًا) وعدّلها بعد أسابيع قليلة. العتبة الصارمة جدًا تمنع كثيرًا، فينتهي الفريق إلى الالتفاف حول البوابة.
هل تحل البوابة محل الاختبارات؟
لا. الاختبارات تتحقق من الشيفرة المسلَّمة؛ أما البوابة فتتحقق من أن الخدمة تتحمل خطرًا جديدًا. وكلاهما يكمل الآخر.
الخلاصة
تحوّل بوابة الإصدار وميزانية الأخطاء سياسةَ الميزانية إلى قاعدة آلية: يقرأ خط المعالجة Dynatrace ويقرر. ابدأ بخدمة حرجة وعتبة حذرة، واختبر حالة الإيقاف، ثم عمّم على الفرق الأخرى. وللثقافة الهندسية وراء هذه الممارسة اقرأ الذكاء الاصطناعي والموثوقية: ما يجب أن يعرفه مهندسو SRE.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك، فميزات SaaS تتطور بسرعة.