CrashLoopBackOff OOMKilled: تشخيص الـ Pods باستخدام Dynatrace

CrashLoopBackOff OOMKilled؟ أكّد السبب بـ kubectl، واعثر على الأحمال المتأثرة بـ DQL، وقارن الذاكرة بالحدود، ثم أعدّ التنبيه قبل تكرار الحادثة.
Pods en CrashLoopBackOff OOMKilled : diagnostiquer avec Dynatrace

يصل نشر جديد إلى بيئة الإنتاج، وبعد دقائق يعرض الأمر kubectl get pods الحالة نفسها على عدة نسخ: CrashLoopBackOff. وفوقها مباشرة يشير حقل آخر حالة إلى OOMKilled. ويُعدّ اقتران CrashLoopBackOff OOMKilled من أكثر حوادث Kubernetes شيوعًا، ومن أسوئها تشخيصًا: ترفع حدّ الذاكرة، فتعود المشكلة بعد أسبوع.

كل إعادة تشغيل تقطع طلبات جارية وتفرغ الذاكرة المؤقتة وتستهلك ميزانية الأخطاء (error budget) للخدمة. ويزداد زمن التأجيل (back-off) مع كل فشل، فكلما تأخرت قلّت السعة المتاحة. والتشخيص المنهجي يقلّل زمن الاستعادة (MTTR) ويمنع تحويل تسرّب الذاكرة إلى مجرد تعديل في ملف YAML.

هدف هذا الدرس التطبيقي أن تميّز أسباب CrashLoopBackOff، وتؤكد حالة OOMKilled، ثم تستخدم Dynatrace للعثور على الأحمال (workloads) المتأثرة ومقارنة الاستهلاك بالحدود والتنبيه قبل وقوع العطل. تصلح استعلامات DQL لـ Dynatrace SaaS (Grail وتطبيق Kubernetes). أما في Dynatrace Managed فيمر الأسلوب نفسه عبر صفحات Kubernetes الكلاسيكية ومستكشف البيانات (Data Explorer).

CrashLoopBackOff وOOMKilled: إشارتان مختلفتان

الحالة CrashLoopBackOff ليست سببًا، بل حالة انتظار لحاوية يعيد kubelet تشغيلها بعد إخفاقات متتالية وبمهلة متزايدة. أما السبب فيكمن في مكان آخر. وOOMKilled أحد الأسباب: قتلت النواة العملية لأن الحاوية تجاوزت حدّ الذاكرة (رمز الخروج 137).

سبب آخر توقف رمز الخروج الاتجاه المحتمل
OOMKilled 137 حدّ ذاكرة منخفض جدًا أو تسرّب ذاكرة أو ذروة حمل
Error 1 أو غيره استثناء عند البدء أو إعداد أو سرّ (secret) مفقود
Completed 0 عملية تنتهي مع أنها يفترض أن تبقى قيد التشغيل
فشل فحص liveness 137 أو 143 فحص صارم جدًا أو بدء بطيء

لا يكفي الرمز 137 وحده، فالحاوية التي يقتلها فحص liveness تتلقى إشارة أيضًا. وحدها القيمة OOMKilled تؤكد تجاوز الذاكرة.

المتطلبات المسبقة

  • الأداة kubectl مع صلاحية قراءة في الـ namespace المعني.
  • عنقود (cluster) تراقبه Dynatrace Operator (انظر ربط Dynatrace Operator بعنقود) مع تفعيل مراقبة Kubernetes.
  • في SaaS: الوصول إلى Notebooks وتطبيق Kubernetes. وفي Managed: الوصول إلى شاشات Kubernetes ومستكشف البيانات.

تشخيص Pod في حالة CrashLoopBackOff OOMKilled خطوة بخطوة

الخطوة 1: قراءة حالة الحاوية

kubectl get pods -n boutique
kubectl describe pod paiement-7d9c6b5f8-x2kq4 -n boutique

في مخرجات describe ابحث عن كتلة Last State الخاصة بالحاوية: القيمتان Reason: OOMKilled وExit Code: 137 تؤكدان فرضية الذاكرة. دوّن أيضًا Restart Count وقسم Limits. وللوصول مباشرة إلى المطلوب:

kubectl get pod paiement-7d9c6b5f8-x2kq4 -n boutique \
  -o jsonpath='{.status.containerStatuses[*].lastState.terminated.reason}'

الخطوة 2: قراءة سجلات التشغيل السابق

أعيد تشغيل الحاوية الحالية للتو، فسجلاتها شبه فارغة. السجلات المهمة هي سجلات النسخة التي قُتلت.

kubectl logs paiement-7d9c6b5f8-x2kq4 -n boutique --previous

نادرًا ما يترك OOMKilled رسالة خطأ واضحة، فالنواة تقتل العملية دون إنذار. في المقابل، يظهر هنا استثناء البدء (متغير مفقود أو اتصال مرفوض) ويوجّه نحو سبب آخر.

الخطوة 3: العثور على كل الأحمال المتأثرة باستخدام DQL

يعرض kubectl Pod واحدًا، أما Dynatrace فيعرض الأسطول كله. في Notebook على SaaS، يحصي المقياس dt.kubernetes.container.oom_kills حالات التوقف بسبب تجاوز الذاكرة:

timeseries oom = sum(dt.kubernetes.container.oom_kills, rollup:sum),
  by:{k8s.namespace.name, k8s.workload.name},
  from:-7d
| fieldsAdd total = arraySum(oom)
| filter total > 0
| sort total desc

يجمع rollup:sum الأحداث في كل فترة، ويختزل arraySum السلسلة إلى مجموع واحد لكل حمل. وجود حمل منفرد في رأس القائمة يشير إلى مشكلة في التطبيق، أما ظهور عدة أحمال على العقدة نفسها فيوحي بضغط على العقدة.

الخطوة 4: مقارنة الاستهلاك بالحدّ

ضع الذاكرة المستخدمة فعليًا (working set) فوق الحدّ المضبوط:

timeseries {
    utilise = sum(dt.kubernetes.container.memory_working_set),
    limite = sum(dt.kubernetes.container.limits_memory)
  },
  by:{k8s.workload.name},
  filter: k8s.namespace.name == "boutique",
  from:-24h
| fieldsAdd ratio = utilise[] / limite[] * 100

اقرأ شكل المنحنى، لا قيمته القصوى فقط:

  • صعود منتظم حتى الحدّ ثم هبوط: تسرّب ذاكرة. رفع الحدّ لا يفعل سوى تأخير الـ OOMKilled التالي.
  • هضبة ثابتة قرب الحدّ: الحدّ أصغر من الحمل الاعتيادي.
  • ذروات قصيرة مرتبطة بحركة المرور: يجب إعادة تحديد الحجم وفق حمل الذروة، أو أن الذاكرة المؤقتة بلا سقف.

أما المكافئ لوحدة المعالجة المركزية فيشرح منطق الموارد الفعلية فيه المقال طلبات CPU الفعلية للـ Pods في Kubernetes.

الخطوة 5: قراءة أحداث Kubernetes

تعطي أحداث Kubernetes المستوعَبة في Grail التسلسل الزمني (back-off وفشل الفحوص والإخلاء):

fetch events, from:-24h
| filter event.provider == "KUBERNETES_EVENT"
| summarize n = count(), by:{event.name}
| sort n desc

أضف بعد ذلك مرشّحًا على الـ namespace أو الـ Pod لإعادة بناء تسلسل الحادثة. قد تختلف أسماء حقول الأحداث بالضبط، فاعرض سطرًا خامًا أولًا لتحديدها.

الخطوة 6: التصحيح ثم الحماية

بحسب التشخيص:

resources:
  requests:
    memory: "512Mi"
  limits:
    memory: "768Mi"
  • حدّ صغير: عدّل requests وlimits استنادًا إلى working set المرصود عند حمل الذروة، مع هامش أمان.
  • بيئة تشغيل مُدارة (JVM وNode.js): اجعل حجم الكومة (heap) متوافقًا مع حدّ الحاوية، وإلا ظنّت البيئة أن ذاكرة العقدة كلها متاحة لها.
  • تسرّب ذاكرة: افتح تذكرة للتطبيق وأرفق معها منحنى Dynatrace. ويساعد تحليل الذاكرة (memory profiling) في OneAgent، إن كان متاحًا لتلك التقنية، على تحديد مواضع التخصيص.

كيف تتحقق من أن الحل يعمل

  • الأمر kubectl get pods -n boutique -w: يجب أن يتوقف العمود RESTARTS عن الزيادة بعد نشر التصحيح.
  • استعلام الخطوة 3 بعد إعادة تشغيله على الساعات الأخيرة: يجب ألا يعيد الحمل نفسه.
  • النسبة في الخطوة 4 تبقى دون عتبة مريحة (مثلًا 80%) أثناء ذروة حركة المرور.
  • في تطبيق Kubernetes (SaaS) أو صفحة الحمل (Managed): لا تظهر للحمل أي مشكلة صحية مفتوحة.

أفضل الممارسات

  • نبّه على الاتجاه لا على الحادثة: تنبيه على نسبة working set إلى الحدّ فوق 90% ينذر قبل أول OOMKilled. اجعله نادرًا وقابلًا للتنفيذ حتى لا يزيد الضجيج.
  • حدّد حدود الذاكرة دائمًا: حاوية بلا حدّ قد تسبب ضغطًا على ذاكرة العقدة كلها وتؤدي إلى إخلاء جاراتها.
  • فحوص واقعية: يمنع startupProbe فحص liveness الصارم من قتل خدمة بطيئة البدء، وهو ما يشبه CrashLoopBackOff دون OOM.
  • مراجعة لاحقة دون لوم: احتفظ باستعلامات DQL الخاصة بالتحقيق في Notebook مشترك لتوفير الوقت على المناوبة (on-call) التالية. وتساعد أنماط السجلات على رصد الرسائل التي تسبق التوقف.

الأسئلة الشائعة

لماذا يُقتل الـ Pod بحالة OOMKilled مع أن العقدة فيها ذاكرة حرة؟

لأن الحدّ يُطبَّق على الحاوية لا على العقدة. وبمجرد أن تتجاوز الحاوية حدّها الخاص تقتلها النواة، حتى لو كان لدى العقدة عدة غيغابايت حرة.

تختفي حالة CrashLoopBackOff ثم تعود، فماذا يحدث؟

يعيد kubelet تشغيل الحاوية بعد كل مهلة back-off. وأثناء عملها تعود الحالة إلى Running. انظر إلى عداد إعادة التشغيل وإلى سبب آخر توقف بدل الحالة اللحظية.

هل تعمل هذه الاستعلامات على Dynatrace Managed؟

لا، فصياغة DQL وGrail خاصتان بـ SaaS. في Managed استخدم صفحات Kubernetes الخاصة بالحمل ومستكشف البيانات والأحداث المعروضة على كيان الـ Pod.

الخلاصة

يُشخَّص CrashLoopBackOff OOMKilled على ثلاث مراحل: تأكيد السبب بـ kubectl، ثم قياس حجم الاستهلاك وشكله بـ Dynatrace، ثم معالجة السبب الحقيقي. أضف تنبيهًا على الاتجاه، فيتحول العطل التالي إلى تذكرة لتحديد الحجم بدل استيقاظ في منتصف الليل.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تتغير أسماء المقاييس والشاشات، لذا تحقق منها في الوثائق الرسمية وفي وثائق Kubernetes. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Migrer Managed vers SaaS : plan, outils et pièges de la bascule Dynatrace

ترحيل Managed إلى SaaS: الخطة والأدوات وأخطاء الانتقال في Dynatrace

Next Post
Dynatrace Monaco : la configuration en code, pas à pas

Dynatrace Monaco: الإعداد كشيفرة خطوة بخطوة

Related Posts