على الورق، لدى عنقود Kubernetes (cluster) هامش واسع: فطلبات CPU المعلنة في حاويات التطبيق لا تمثل إلا نصف سعة العقد تقريبًا. ومع ذلك تبقى pods في حالة Pending مع الرسالة Insufficient cpu، ويضيف مُوسِّع العقد التلقائي (autoscaler) أجهزة أبكر من المتوقع. وقبل اتهام المُجدوِل (scheduler) يجب النظر عن قرب إلى ما يحجزه Kubernetes فعلًا لكل pod: طلبات CPU الفعلية.
الرقم الذي نجمعه تلقائيًا (مجموع طلبات حاويات التطبيق) ليس الرقم الذي يستخدمه المُجدوِل. يحسب Kubernetes قيمة فعلية على مستوى الـ pod، تراعي حاويات التهيئة (init containers) والحاويات الجانبية الأصلية (native sidecars) والموارد المعلنة مباشرة على الـ pod منذ وقت قريب. ولا تظهر هذه القيمة في أي حقل من حقول الـ API: يجب إعادة حسابها.
تجري Dynatrace SaaS هذا الحساب عند الاستيعاب، لكل pod، دون إعداد خاص ما دامت مراقبة Kubernetes تمر عبر ActiveGate (على Grail فقط). يشرح هذا المقال مصدر الفارق، وكيف ترصده باستخدام DQL في Grail، وكيف تدمجه في قرارات السعة.
لماذا يضلل مجموع الحاويات أحيانًا
يمر الـ pod بمرحلتين. في مرحلة التهيئة تعمل حاويات التهيئة واحدة تلو الأخرى، ويجب أن تنتهي كل منها قبل التي تليها. وفي مرحلة التشغيل تعمل حاويات التطبيق بالتوازي، ومعها الحاويات الجانبية الأصلية إن وُجدت (وهي حاويات تهيئة معلنة بالإعداد restartPolicy: Always، تبدأ مبكرًا وتبقى نشطة طوال حياة الـ pod).
يجب أن يضمن المُجدوِل أن الـ pod سيتمكن من عبور المرحلتين على العقدة نفسها. لذا يحتفظ بالقيمة الأكبر بين:
- مجموع حاويات التطبيق والحاويات الجانبية (مرحلة التشغيل)؛
- أكبر حاوية تهيئة، مضافًا إليها الحاويات الجانبية المعلنة قبلها (مرحلة التهيئة).
ينطبق المنطق نفسه على الحدود (limits)، التي يفرضها kubelet بعد ذلك على cgroup الخاص بالـ pod. في معظم الحالات تكون حاويات التهيئة خفيفة (انتظار تبعية، أو جلب secret) وتهيمن مرحلة التشغيل: فيكون المجموع البسيط صحيحًا. ويظهر الفخ حين تكون التهيئة أشد استهلاكًا من التطبيق نفسه.
مثال ملموس
لنأخذ خدمة استدلال (inference) تنزّل حاوية التهيئة فيها نموذجًا كبيرًا وتفك ضغطه، بطلب قدره 2 نواة، بينما يكتفي حاوية التطبيق بـ 250m بعد تحميل النموذج في الذاكرة. يعرض kubectl describe pod القيمة 250m لحاوية التطبيق. أما المُجدوِل فقد حجز 2000m: ثمانية أضعاف. اضرب في عشرين نسخة (replica) تقريبًا فيُقاس الفارق بعقد كاملة. وعمليات ترحيل مخطط قاعدة البيانات المنفذة في حاوية تهيئة تنتج الأثر نفسه تمامًا.
حالة الموارد على مستوى الـ pod
نقل Kubernetes 1.34 الميزة PodLevelResources إلى مرحلة بيتا مفعّلة افتراضيًا. تتيح تحديد الطلبات والحدود على الـ pod بأكمله بدل حاوية حاوية. نتائج يجب معرفتها:
- قد يكون الحد على مستوى الـ pod أقل من مجموع حدود الحاويات: يبدو أن لكل حاوية هامشًا، لكن cgroup الخاص بالـ pod يضع سقفًا للمجموع. وفي الذاكرة يعني ذلك إنهاء بسبب نفاد الذاكرة (OOM kill) لم يكن عرض الحاويات ينبئ به؛
- الطلب على مستوى الـ pod لا يمكنه إلا رفع الحجز: يرفض Kubernetes قيمة أقل من مجموع الحاويات؛
- تُعالَج الطلبات والحدود، في CPU والذاكرة، كلٌّ على حدة: يمكن لـ pod واحد أن يجمع قيمًا على مستوى الـ pod وقيمًا محسوبة من الحاويات.
طلبات CPU الفعلية: ما تفعله Dynatrace عند الاستيعاب
تبقى مقاييس الموارد مخزَّنة لكل حاوية في Grail: dt.kubernetes.container.requests_cpu وdt.kubernetes.container.requests_memory ونظيراتها للحدود. تحتفظ كل حاوية تطبيق وكل حاوية جانبية بسلسلتها الخاصة. وحين يعطي المجموع البسيط قيمة خاطئة، تضيف Dynatrace نقطة بيانات تعويض على المقياس نفسه، مرتبطة بالـ pod لكن دون اسم حاوية ولا نوعها. تكون هذه الدلتا موجبة حين تهيمن التهيئة أو حين يرفع طلب على مستوى الـ pod الحجز، وسالبة حين يخفض حد على مستوى الـ pod السقف. ويتوقف الدعم على إصدار ActiveGate: الحاويات الجانبية الأصلية منذ 1.339، وتعويض حاويات التهيئة ابتداءً من 1.343، والموارد على مستوى الـ pod وoverhead الخاص بـ RuntimeClass ابتداءً من 1.345.
فائدة هذا النهج: تصبح تجميعاتك الحالية (المجموع لكل pod ولكل حمل عمل ولكل مساحة أسماء ولكل عقدة) صحيحة دون إعادة كتابة، وتبقى القيم لكل حاوية سليمة للتحليل الدقيق.
عمليًا
الخطوة 1 — رصد الـ pods المعنية
في Notebook ابحث عن سطور التعويض: هي التي لا تملك البُعد dt.smartscape.container. انتبه: k8s.cluster.name وk8s.pod.name وk8s.workload.name خصائص للكيان وليست أبعادًا للمقياس، لذا نجمّع حسب dt.smartscape.* ثم نستعيد هذه الخصائص بـ lookup على Smartscape.
timeseries cpu = sum(dt.kubernetes.container.requests_cpu),
by: { dt.smartscape.k8s_pod, dt.smartscape.container },
from: now()-30m
| filter isNull(dt.smartscape.container)
| lookup [ smartscapeNodes "*" | filter type == "K8S_POD"
| fields id, cluster = k8s.cluster.name, pod = k8s.pod.name ],
sourceField: dt.smartscape.k8s_pod, lookupField: id
| fieldsAdd cluster = lookup.cluster, pod = lookup.pod, delta_millicores = arrayLast(cpu)
| filter cluster == "prod-eu"
| fields pod, delta_millicores
| sort delta_millicores desc
تُعبَّر قيم CPU في هذا المقياس بوحدة millicores. تشير أعلى الدلتات إلى pods تكلّف تهيئتها أكثر بكثير من تشغيلها.
الخطوة 2 — مقارنة القيمة المعروضة بالقيمة الفعلية
لحمل عمل مشتبه به، اعرض التفصيل لكل حاوية والمجموع. مجموع كل السطور، بما فيها السطر الخالي من الحاوية، يعطي الحجز الفعلي.
timeseries cpu = sum(dt.kubernetes.container.requests_cpu),
by: { dt.smartscape.k8s_pod, dt.smartscape.container, k8s.container.type },
from: now()-30m
| lookup [ smartscapeNodes "*" | filter type == "K8S_POD"
| fields id, wl = k8s.workload.name, pod = k8s.pod.name ],
sourceField: dt.smartscape.k8s_pod, lookupField: id
| fieldsAdd wl = lookup.wl, pod = lookup.pod, millicores = arrayLast(cpu)
| filter wl == "model-server"
| fields pod, dt.smartscape.container, k8s.container.type, millicores
| sort pod asc
كرّر التمرين مع dt.kubernetes.container.limits_memory للـ pods التي تستخدم موارد على مستوى الـ pod: تشير الدلتا السالبة إلى سقف ذاكرة أشد مما توحي به الحاويات.
الخطوة 3 — عالج السبب لا العَرَض
بعد تحديد الـ pods تتوفر لك عدة خيارات:
- إخراج العمل الثقيل من حاوية التهيئة إلى
Jobمخصص في Kubernetes، ينفَّذ مرة واحدة لكل نشر بدل كل بدء لنسخة؛ - مراجعة طلب حاوية التهيئة: كثير منها مبالغ في حجمه «احتياطًا»، بينما يتقيد التنزيل بالشبكة أساسًا؛
- بالنسبة إلى الـ pods ذات حد الذاكرة على مستوى الـ pod، تحقق من أن مجموع الاستهلاك الفعلي للحاويات يبقى تحت السقف المشترك.
الخطوة 4 — إعادة معايرة لوحات معلومات السعة
راجع لوحات المعلومات (Dashboards) واستعلامات السعة لديك: إذا كانت تجمع المقياس أصلًا لكل pod أو لكل عقدة فهي تدمج الدلتات تلقائيًا. أما إذا كانت تصفّي بحسب k8s.container.type أو تستبعد السطور الخالية من dt.smartscape.container، فإنها تقلّل من تقدير الحجز. ومن المؤشرات الجيدة للمتابعة بلاط (tile) «الفارق بين مجموع التطبيق والحجز الفعلي» لكل مساحة أسماء.
أفضل الممارسات
- ابنِ تحديد حجم مجموعات العقد على الحجز الفعلي، لا على مجموع حاويات التطبيق وحده.
- تذكّر أن عتبات HPA المعبَّر عنها بنسبة مئوية تعتمد على طلبات الحاويات، أما الحجز الفعلي فيخدم التوزيع والسعة.
- جمّع حسب الأبعاد
dt.smartscape.*واربط العنقود أو مساحة الأسماء أو حمل العمل بـlookup: التصفية المباشرة علىk8s.cluster.nameداخلtimeseriesلا تعمل. - قبل اعتماد
PodLevelResourcesعلى نطاق واسع، جرّبها على أحمال قليلة ولاحظ الدلتات السالبة على حدود الذاكرة. - وثّق في مراجعات السعة أحمال العمل ذات التهيئة الثقيلة: هي التي تشوّه التقديرات.
الأسئلة الشائعة
لماذا لا يعرض kubectl الطلب الفعلي للـ pod؟
لأن هذه القيمة لا توجد في أي حقل من حقول الـ API: يحسبها المُجدوِل انطلاقًا من حاويات التطبيق وحاويات التهيئة والحاويات الجانبية الأصلية والموارد المحتملة على مستوى الـ pod. أما kubectl describe pod فيعرض القيم المعلنة حاوية حاوية.
هل يجب إعادة كتابة استعلامات DQL الخاصة بالسعة؟
لا إذا كانت تجمع المقياس أصلًا لكل pod أو حمل عمل أو مساحة أسماء أو عقدة: فدلتات التعويض مدمجة فيها. نعم إذا كانت تصفّي بحسب k8s.container.type أو تستبعد السطور الخالية من dt.smartscape.container، لأنها تقلّل حينئذ من تقدير الحجز.
ماذا تعني الدلتا السالبة؟
حد محدد على مستوى الـ pod أقل من مجموع حدود حاوياته. يبدو أن لكل حاوية هامشًا، لكن cgroup الخاص بالـ pod يضع سقفًا للمجموع: وفي الذاكرة هذا خطر OOM kill لا يظهره عرض الحاويات.
الخلاصة
الرقم المعروض لكل حاوية صحيح، لكنه لا يجيب عن السؤال الذي يطرحه فريق المنصة: كم حجز العنقود فعلًا؟ بحساب القيمة الفعلية عند الاستيعاب وعرضها على شكل دلتا في المقاييس الحالية، تجعل Dynatrace SaaS هذه الإجابة في متناول تجميع DQL بسيط. ومع انتشار الموارد على مستوى الـ pod يصبح هذا الانعكاس لا غنى عنه لتفادي مفاجآت التوزيع وحالات OOM kill غير المفسَّرة.
للمزيد: Your pod may be requesting 25× more CPU than you think — and Kubernetes won’t tell you (مدونة Dynatrace، بالإنجليزية).
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تتطور ميزات SaaS بسرعة: تحقق من توافرها في بيئتك وفي الوثائق الرسمية.