ثلاثمئة من تنبيهات Kubernetes كل يوم، ولا ينذر بمشكلة حقيقية منها إلا عدد قليل. أما الباقي فيتحدث عن Pods تُعاد أثناء نشر، ومهام (jobs) تفشل ثم تنجح، وعقد تحت ضغط لوقت قصير. وتنتهي المناوبة (on-call) إلى تجاهل كل شيء، حتى اليوم الذي يبلغ فيه namespace حصته ويعطّل الإطلاق في الإنتاج.
ترصد Dynatrace أصلًا سلسلة من حالات Kubernetes على مستوى العقدة والحمل (workload) والـ namespace. وعمل مهندس SRE ليس إضافة المزيد، بل اختيار ما يهدد هدف مستوى الخدمة (SLO) وضبط عتباته ليستدعي كل تنبيه إجراءً. ضجيج أقل يعني زمن استعادة (MTTR) أقصر وعملًا يدويًا متكررًا (toil) أقل.
الهدف: استعراض عمليات الرصد المدمجة والاحتفاظ بما يهم وضبط نوافذ ملاحظتها عبر الواجهة أو Settings API v2، ثم التحقق من النتيجة. صالح لـ Dynatrace SaaS وDynatrace Managed (مخططات الإعدادات متطابقة، والفرق في الـ URL فقط). وتجمع هذه المقالة تنبيهات Kubernetes الجديرة بالاحتفاظ.
المستويات الثلاثة: تنبيهات Kubernetes في Dynatrace
تتوزع إعدادات كشف الشذوذ (anomaly detection) في Kubernetes على ثلاثة مخططات (schemas)، لكل منها نطاقه:
| المخطط | النطاق | ما يراقبه |
|---|---|---|
builtin:anomaly-detection.kubernetes.node |
العنقود | عقدة غير جاهزة، وحالات إشكالية (MemoryPressure وDiskPressure وPIDPressure …)، وتشبّع طلبات CPU والذاكرة، وتشبّع عدد الـ Pods |
builtin:anomaly-detection.kubernetes.workload |
العنقود أو الـ namespace | إعادات تشغيل الحاويات، ونشر عالق، وPods في حالة Pending أو عالقة في Terminating، وحمل بلا Pod جاهز، وحالات OOM kills، وخنق CPU، وفشل المهام، وbackoff، والإخلاء، والاستباق |
builtin:anomaly-detection.kubernetes.namespace |
العنقود أو الـ namespace | تشبّع حصص طلبات وحدود CPU والذاكرة، وحصة الـ Pods |
يتكون كل رصد من مفتاح enabled وإعداد بصيغة «نبّه إذا … لمدة X دقائق على الأقل خلال آخر Y دقائق» (samplePeriodInMinutes وobservationPeriodInMinutes). وتعديل العتبة يعيد ضبط فترة الملاحظة.
المتطلبات المسبقة
- عنقود تراقبه Dynatrace Operator مع تفعيل مراقبة واجهة Kubernetes API (انظر ربط Dynatrace Operator).
- رمز API مميّز (API token) بالنطاقين
settings.readوsettings.write. - الأداتان
curlوjq. - عنوان البيئة:
https://{id-env}.live.dynatrace.comفي SaaS، وhttps://{votre-domaine}/e/{id-env}في Managed.
الخطوة 1: اختيار التنبيهات التي تهم
ابدأ من أهداف SLO لا من قائمة عمليات الرصد. قاعدة جيدة: لا يوقظ التنبيه أحدًا إلا إذا تضرر المستخدم أو سيتضرر دون تدخل.
العقد
- عقدة غير جاهزة (
readinessIssues): احتفظ به، فهو فقدان مباشر للسعة. - الحالات الإشكالية (
nodeProblematicCondition): تسبق DiskPressure وMemoryPressure عمليات الإخلاء؛ احتفظ بها. - تشبّع طلبات CPU/الذاكرة: مفيد لتخطيط السعة، ونادرًا ما يكون عاجلًا. وجّهه إلى قناة غير مُلحّة.
الـ Pods والأحمال
- حمل بلا Pod جاهز (
workloadWithoutReadyPods): عطل صريح، أولوية عالية. - نشر عالق (
deploymentStuck): إشارة ثمينة أثناء الإطلاق في الإنتاج. - إعادات التشغيل وOOM kills: احتفظ بها مع نافذة طويلة بما يكفي لتجاهل إعادة تشغيل معزولة. ويرد التشخيص مفصّلًا في CrashLoopBackOff وOOMKilled.
- فشل المهام: عطّله على مستوى العنقود إذا كانت مهامك idempotent وتُعاد، ثم أعد تفعيله لكل namespace للمهام الحرجة.
الحصص
تنبيهات حصص الـ namespace هي الأكثر استهانة بها: حصة Pods مشبعة تمنع الإطلاق أو التوسع التلقائي (autoscaling) دون أي عَرَض في التطبيق قبل الذروة. فعّلها على namespaces الإنتاج.
الخطوة 2: قراءة الإعداد الفعلي
export DT_ENV="https://abc12345.live.dynatrace.com"
curl -s -H "Authorization: Api-Token $DT_TOKEN" \
"$DT_ENV/api/v2/settings/objects?schemaIds=builtin:anomaly-detection.kubernetes.workload&scopes=environment&fields=objectId,scope,value" \
| jq '.items[] | {objectId, scope, pendingPods: .value.pendingPods, jobFailureEvents: .value.jobFailureEvents}'
يعطي النطاق environment القيمة الافتراضية. استبدل به معرّف عنقود (KUBERNETES_CLUSTER-…) أو namespace (CLOUD_APPLICATION_NAMESPACE-…) لترى تجاوزًا محليًا. والإعداد الأكثر تحديدًا هو الذي يسود.
الخطوة 3: تعديل عتبة عبر API
خصائص المخطط كلها إلزامية: لا يُرسَل كائن جزئي. والطريقة الآمنة أن تجلب الكائن وتعدّل قيمة بـ jq ثم تعيد إرساله.
OBJ=$(curl -s -H "Authorization: Api-Token $DT_TOKEN" \
"$DT_ENV/api/v2/settings/objects?schemaIds=builtin:anomaly-detection.kubernetes.workload&scopes=environment" \
| jq -r '.items[0].objectId')
curl -s -H "Authorization: Api-Token $DT_TOKEN" \
"$DT_ENV/api/v2/settings/objects/$OBJ" \
| jq '{value: (.value | .jobFailureEvents.enabled = false)}' > workload.json
curl -s -X PUT -H "Authorization: Api-Token $DT_TOKEN" \
-H "Content-Type: application/json" \
-d @workload.json \
"$DT_ENV/api/v2/settings/objects/$OBJ"
لضبط نافذة إعادات التشغيل، افحص أولًا .value.containerRestarts.configuration: يحدد المخطط أسماء حقول كل إعداد (GET /api/v2/settings/schemas/builtin:anomaly-detection.kubernetes.workload). لا تخمّن اسم خاصية، فسيُرفض الطلب PUT.
ولتجاوز على namespace واحد، نفّذ POST /api/v2/settings/objects مع "scope": "CLOUD_APPLICATION_NAMESPACE-…" وقيمة value كاملة منسوخة من القيمة الافتراضية ثم معدّلة.
الخطوة 4: الواجهة للإعدادات المؤقتة
في Settings > Anomaly detection تعرض مداخل Kubernetes (العنقود والعقدة والـ namespace والحمل) الخيارات نفسها. وعلى مستوى عنقود أو namespace تُفتح الإعدادات أيضًا من صفحة الكيان. ولأسطول من العناقيد، فضّل API أو الإعداد ككود (configuration as code): الإعداد المنقور يدويًا ينحرف بسرعة.
كيف تتحقق من أن الإعداد يعمل
- في namespace للاختبار، طبّق حصة Pods منخفضة ثم زد عدد النسخ فوقها:
kubectl create namespace alert-test
kubectl -n alert-test create quota pods-max --hard=pods=3
kubectl -n alert-test create deployment web --image=nginx --replicas=3
kubectl -n alert-test scale deployment web --replicas=5
- بعد فترة الملاحظة المضبوطة، ابحث عن الحدث في Notebook:
fetch dt.davis.events
| filter event.status == "ACTIVE"
| fields event.start, event.name, event.category
| sort event.start desc
| limit 20
- تأكد من وصول الإشعار إلى المستلم الصحيح. إن لم يصل، فالمشكلة في ملف التنبيه (alerting profile) لا في الرصد: انظر ملفات التنبيه والتكاملات.
- نظّف:
kubectl delete namespace alert-test.
أفضل الممارسات
- تنبيه واحد، دليل تشغيل (runbook) واحد: إن لم يعرف أحد ماذا يفعل عند رنينه فلا مكان له في المناوبة.
- القيم الافتراضية على العنقود والاستثناءات على الـ namespace: حافظ على وضوح الإعداد.
- نوافذ طويلة للأعراض المزعجة (إعادات التشغيل والخنق)، وقصيرة للأعطال الصريحة (لا Pod جاهز).
- مراجعة شهرية: احسب التنبيهات التي لم يتبعها إجراء. وتصف المقالة تقليل ضجيج تنبيهات Davis الأسلوب.
- طلبات واقعية: تعتمد تنبيهات التشبّع على الطلبات المعلنة؛ والطلبات الخاطئة تنتج تنبيهات خاطئة (انظر طلبات CPU الفعلية).
- المرجع: مخطط عمليات رصد الأحمال.
الأسئلة الشائعة
هل يجب تكرار هذه التنبيهات في Prometheus؟
لا، إلا لحاجة محددة. تكرار القواعد يضاعف الإشعارات. وإن أبقيت Alertmanager فوزّع الأدوار بوضوح: مصدر واحد لكل نوع تنبيه.
لماذا لا يظهر التنبيه إلا بعد عدة دقائق؟
هذه نافذة «لمدة X دقائق على الأقل خلال آخر Y». تصفّي الذروات العابرة. قصّرها فقط للأعطال الصريحة.
هل الإعدادات نفسها في Managed؟
نعم، تعرض Settings API v2 المخططات في العرضين. تحقق فقط من أن إصدار العنقود لديك يوفر كل خاصية مذكورة.
الخلاصة
التنبيهات الجيدة في Kubernetes قليلة: عقدة غير جاهزة، وحمل بلا Pod جاهز، ونشر عالق، وحالات OOM kills متكررة، وحصص مشبعة. اضبط نوافذها، وسجّلها ككود عبر API، واختبرها بحصة منخفضة عمدًا. وتستعيد المناوبة إشارة موثوقة.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تتغير أسماء الإعدادات والخصائص، لذا تحقق منها في الوثائق الرسمية الخاصة بإصدارك. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.