استكشاف أخطاء عنقود Managed وإصلاحها: الحوادث الشائعة وحلولها

استكشاف أخطاء عنقود Managed وإصلاحها: منهجية تشخيص وحلول للقرص الممتلئ والعقد المنقطعة والوكلاء وActiveGate والترقيات الفاشلة.
Dépannage cluster Managed : les incidents courants et leurs solutions

الساعة الثامنة والنصف صباحًا، ويبلغ مسؤول تطبيق بأن رسومه البيانية تتوقف عند الثالثة فجرًا. أو أن CMC تعرض عقدة حمراء بعد إعادة تشغيل المحاكي الافتراضي (hypervisor). أو أن دفعة جديدة من الخوادم ثُبّتت أمس لا تظهر في أي مكان. كل مسؤول عن Dynatrace Managed يعيش هذه المواقف يومًا ما، وغالبًا في أسوأ وقت. وهنا يصنع استكشاف أخطاء عنقود Managed وإصلاحها بمنهجية الفرق عن سلسلة إعادات تشغيل عشوائية.

تكمن صعوبة Managed في تعدد الطبقات: نظام تشغيل العقد، والمكونات الداخلية (الخادم وCassandra وElasticsearch ومخزن المعاملات)، والشبكة بين العقد، وActiveGate، وOneAgent، وأحيانًا الاتصال بـ Mission Control. وقد يكون للعرض نفسه أسباب مختلفة جدًا بحسب الطبقة المعطوبة.

يقترح هذا المقال منهجية تشخيص منظمة، ثم يستعرض أكثر الحوادث شيوعًا مع فحوصها وحلولها. وهو لا يغني عن دعم Dynatrace: بل يساعدك على الوصول إليه وقد قطعت شوطًا في التشخيص.

استكشاف أخطاء عنقود Managed وإصلاحها: منهجية قبل الوصفات

  1. تحديد النطاق: بيئة واحدة أم كلها؟ عقدة واحدة أم العنقود كله؟ مجموعة وكلاء أم جميعهم؟
  2. تحديد وقت البداية: اربطه بالتغييرات الأخيرة (ترقية، تحديث نظام التشغيل، تعديل الشبكة، تجديد شهادة).
  3. النزول عبر الطبقات: الشبكة، فالنظام، فالخدمات، فمكونات Dynatrace، فالوكلاء.
  4. الجمع قبل التصرف: السجلات ومخرجات الأوامر ولقطات CMC. إعادة التشغيل تمحو الأدلة غالبًا.
  5. تغيير واحد في كل مرة، مع التحقق من الأثر قبل التالي.

درس تطبيقي خطوة بخطوة

الخطوة 1: جرد حالة العنقود

ابدأ بـ CMC: حالة كل عقدة والأحداث الأخيرة وتنبيهات السلامة. واستكمل بـ Cluster API، المفيد إذا كانت الواجهة بطيئة:

curl -s -w "\nHTTP %{http_code}\n" -H "Authorization: Api-Token {token}" \
  "https://{votre-domaine}/api/v1.0/onpremise/cluster"

ثم على كل عقدة:

df -h /opt/dynatrace-managed /var/opt/dynatrace-managed
free -h; uptime
systemctl --failed
journalctl -p err --since "6 hours ago" | tail -100

الخطوة 2: حادثة، قرص البيانات ممتلئ

الأعراض: رسوم بيانية متقطعة وبيانات مرفوضة ومكونات في حالة خطأ وتنبيهات تخزين في CMC.

التشخيص:

df -h /var/opt/dynatrace-managed
du -xh --max-depth=2 /var/opt/dynatrace-managed 2>/dev/null | sort -h | tail -15
find /var/opt/dynatrace-managed -name "*.log" -size +500M 2>/dev/null

الحلول: لا تحذف يدويًا أبدًا ملفات بيانات Cassandra أو Elasticsearch، فستُفسد التخزين. تصرّف بدلًا من ذلك على السعة (توسيع الوحدة، ويفضّل أثناء التشغيل عبر LVM) أو على الحجم (تقليل مدد الاحتفاظ في CMC ومراجعة حصص البيئات). ولا يجوز تنظيف سوى الملفات الواضح أنها خارج التخزين، مثل الأرشيفات المؤقتة والمثبّتات القديمة. وإذا كان الوضع حرجًا فاتصل بالدعم قبل أي عملية.

الخطوة 3: حادثة، عقدة لا يمكن بلوغها أو في حالة خطأ

الأعراض: عقدة مُبلَّغ عنها كمنقطعة، وواجهة بطيئة، وتنبيهات نسخ متماثل (replication).

التشخيص: اختبر الاتصال بين العقد على المنافذ الداخلية للعنقود (خصوصًا 5701‑5711 و8018 لـ Hazelcast وNodekeeper، و7000 و7001 و9042 لـ Cassandra، و9200 و9300 لـ Elasticsearch، و8443 لبيانات OneAgent)، ثم تحليل الأسماء ومزامنة الوقت، وهي كثيرًا ما تُنسى:

ping -c 3 {ip-autre-noeud}
nc -vz {ip-autre-noeud} {port-interne}
timedatectl status
chronyc tracking 2>/dev/null || ntpq -p

الحلول: أعد تدفق الشبكة أو الساعة، ثم دع العقدة تتزامن من جديد. وإذا بقيت خدمة متوقفة فراجع سجلاتها في /var/opt/dynatrace-managed/log/ (مثلًا cassandra/ أو elasticsearch/) قبل إعادة تشغيلها عبر نصوص /opt/dynatrace-managed/launcher/ (cassandra.sh start وelasticsearch.sh start…). تجنب إعادة تشغيل عدة عقد في وقت واحد: توصي الوثائق بمعالجة العقد واحدة واحدة، لأن العنقود (وCassandra خصوصًا) يحتاج إلى نصاب (quorum) ليبقى متسقًا.

الخطوة 4: حادثة، وكلاء OneAgent لا يرسلون بيانات

الأعراض: مضيفون غائبون أو باهتون، وخوادم جديدة غير مرئية.

التشخيص على المضيف:

systemctl status oneagent
sudo /opt/dynatrace/oneagent/agent/tools/oneagentctl --get-server
sudo /opt/dynatrace/oneagent/agent/tools/oneagentctl --get-tenant
curl -sv -o /dev/null https://{adresse-activegate}:9999/ 2>&1 | grep -E "Connected|SSL|HTTP"

أسباب شائعة: جدار حماية بين المضيف وActiveGate أو العنقود، وشهادة مجددة غير معترف بها، ومعرّف بيئة خاطئ عند التثبيت، ومنطقة شبكة (--set-network-zone=) بلا ActiveGate متاح، أو بلوغ حصة وحدات المضيف (host units) للبيئة. يمكن التحقق من هذه الحالة الأخيرة مباشرة في CMC ضمن إعدادات البيئة.

الخطوة 5: حادثة، ActiveGate منقطع

قد يقطع ActiveGate المتوقف منطقة شبكة بأكملها دفعة واحدة. افحص الخدمة وسجلاتها:

systemctl status dynatracegateway
journalctl -u dynatracegateway --since "2 hours ago" | tail -50
ss -tlnp | grep 9999

على Linux تسمى الخدمة dynatracegateway (systemctl restart dynatracegateway لإعادة تشغيلها). تحقق من مساحة القرص والذاكرة واتصال ActiveGate بالعنقود. وللمناطق الحرجة انشر ActiveGate اثنين على الأقل لتفادي نقطة الفشل الوحيدة.

الخطوة 6: حادثة، ترقية عالقة أو فاشلة

الوقاية: قبل أي ترقية، تحقق من حالة جميع العقد ومساحة القرص (تحتاج الترقية إلى مساحة لفك ضغط ملفاتها) ونجاح آخر نسخة احتياطية. وفي وضع عدم الاتصال تأكد من استخدام الحزمة الصحيحة dynatrace-managed-{version}.sh وتسلسل الإصدارات الصحيح.

عند الفشل: احتفظ بسجلات المثبّت، ولا تكرر المحاولات تباعًا، وافتح تذكرة لدى الدعم مع الإصدار المصدر والإصدار الهدف والسجلات.

الخطوة 7: حادثة، واجهة بطيئة

غالبًا عرَض لحمل زائد: ذاكرة مشبعة، أو تأخر عمليات الضغط في Cassandra، أو استعلامات لوحات معلومات واسعة جدًا. افحص حمل العقد، وحدد لوحات المعلومات التي تغطي فترات طويلة جدًا على كيانات كثيرة، وفكّر في إضافة عقدة إذا كان التشبع بنيويًا.

الخطوة 8: تجهيز ملف الدعم

اجمع: إصدار Managed، وعدد العقد، والتسلسل الزمني، والإجراءات التي جُرِّبت، ومخرجات الأوامر أعلاه، وأرشيف التشخيص المنزّل من CMC (يضم خصوصًا سجلات الخادم والمكونات الأخرى وأخطاء NGINX). وإذا كان العنقود متصلًا بـ Mission Control فقد تتوفر لدى الدعم معلومات إضافية.

أفضل الممارسات

  • لا تلمس ملفات التخزين (Cassandra وElasticsearch) يدويًا أبدًا.
  • اجمع قبل إعادة التشغيل: السجلات والحالة أفضل أدلتك.
  • عقدة واحدة في كل مرة لإعادات التشغيل والصيانة.
  • مزامنة الوقت مراقبة على جميع العقد وActiveGate.
  • runbooks مكتوبة لكل حادثة سبق وقوعها، وتُثرى بعد كل مراجعة لاحقة للحادثة (post-mortem).
  • الوقاية: مراقبة سلامة العنقود الجيدة تجنّب معظم هذه الحوادث.

الأسئلة الشائعة

هل يمكن حذف ملفات لتحرير قرص البيانات؟

لا تحذف أبدًا ملفات Cassandra أو Elasticsearch: ستُفسد التخزين. تصرّف على السعة (توسيع الوحدة) أو على الحجم (مدد الاحتفاظ والحصص)، ولا تنظّف إلا الملفات الواضح أنها خارج التخزين كالأرشيفات المؤقتة والمثبّتات القديمة.

لماذا لا نعيد تشغيل جميع العقد في وقت واحد؟

يحتاج العنقود إلى نصاب ليبقى متسقًا. أعد تشغيل عقدة واحدة في كل مرة بعد جمع السجلات والحالة، وتحقق من أنها تزامنت من جديد قبل الانتقال إلى التالية.

مضيفون لم يعودوا يظهرون: من أين نبدأ؟

على المضيف تحقق من خدمة oneagent، ثم من الخادم والبيئة المضبوطين عبر oneagentctl، ثم من الاتصال بـ ActiveGate. وفي CMC تحقق من عدم بلوغ حصة وحدات المضيف للبيئة.

الخلاصة

تنحصر معظم حوادث عنقود Managed في بضع عائلات: تخزين مشبع، وشبكة أو ساعة بين العقد، واتصال الوكلاء وActiveGate، وترقيات سيئة التجهيز. بمنهجية صارمة، من تحديد النطاق والوقت والنزول عبر الطبقات والجمع قبل التصرف، وبأوامر Linux القياسية، تحل بنفسك جزءًا كبيرًا منها، وتحوّل الباقي إلى تذاكر دعم سريعة ودقيقة.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Surveiller la santé de son cluster Managed

مراقبة سلامة العنقود: كيف تراقب عنقود Dynatrace Managed

Next Post
Requêtes CPU effectives des pods Kubernetes : le chiffre que kubectl ne montre pas

طلبات CPU الفعلية لـ pods في Kubernetes: الرقم الذي لا يعرضه kubectl

Related Posts