circuit breaker Elasticsearch: تشخيص امتلاء الذاكرة heap

circuit breaker Elasticsearch: التعرّف على خطأ 429، وقياس ضغط ذاكرة heap، ومعالجة الأسباب الشائعة، وتصدير المقاييس عبر OTLP إلى Dynatrace.
Circuit breaker Elasticsearch : diagnostiquer un heap saturé

يُعدّ circuit breaker Elasticsearch حاجز حماية للذاكرة: عندما تهدد عملية ما بملء ذاكرة heap في JVM، ترفضها Elasticsearch بدل أن تترك العقدة تنهار بخطأ OutOfMemory. وأكثرها إثارة للقلق هو الـ breaker الأب. وبحسب وثائق Elastic، يرفض العمليات عند بلوغ حدّه. بالنسبة لفريق SRE، هذا الرفض إشارة مفيدة، لكنه يظهر أخطاء لدى العملاء، ولذلك يجب معرفة كيفية قراءته.

يوضح هذا المقال كيف تتعرّف على الخطأ، وتقيس ضغط الذاكرة، وتعالج الأسباب الشائعة، ثم تصدّر مقاييس JVM والـ breaker إلى Dynatrace عبر OpenTelemetry. المحتوى صالح لـ Dynatrace SaaS؛ أما إعدادات Elasticsearch فلا تعتمد على Dynatrace.

circuit breaker Elasticsearch: ماذا يقول الـ parent breaker

تستخدم Elasticsearch عدة breakers. يراقب كل breaker فرعي نوعًا من الاستهلاك (fielddata والاستعلامات وطلبات الشبكة الجارية)، ويراقب الـ breaker الأب المجموع. وبحسب صفحة الإعدادات، هذه هي القيم الافتراضية المذكورة:

إعدادات circuit breaker في Elasticsearch: القيمة indices.breaker.total.limit عند 95% من heap، وbreaker الحقل fielddata عند 40%، وrequest عند 60%، وinflight_requests عند 100%
  • indices.breaker.total.use_real_memory: إعداد ثابت، قيمته الافتراضية true. عندئذ يحتسب الأب الاستخدام الفعلي للذاكرة، لا ما تحجزه الـ breakers الفرعية فقط.
  • indices.breaker.total.limit: إعداد ديناميكي. القيمة الافتراضية: 95% من heap في JVM إذا كانت قيمة use_real_memory تساوي true، وإلا 70%.
  • الـ breakers الفرعية: fielddata عند 40%، وrequest عند 60%، وinflight_requests عند 100% (مقيّد بحدّ الأب).

يغطي breaker request البنى الخاصة بكل استعلام، مثل ذاكرة التجميعات (aggregations)؛ ويشاركه ES|QL. والأهم أن الأب ينطلق بحسب الذاكرة المستخدمة فعليًا في العقدة، لذلك قد يبقى breaker فرعي تحت حدّه بينما يمنع الأب العملية.

التعرّف على CircuitBreakingException

تصف صفحة استكشاف الأخطاء الخطأ: ترد Elasticsearch بحالة HTTP 429، ويكون type الخطأ circuit_breaking_exception، ويبدأ reason بـ [parent] Data too large. وعلى جهة الخادم يسجّل elasticsearch.log الخطأ CircuitBreakingException. وهذه النقطة الأخيرة تفيد عندما تُطلق عملية آلية، مثل تخصيص الـ shards، الـ breaker دون أن يتلقى أي عميل خطأً.

لا يخبرك الخطأ 429 أي استعلام تسبب في الامتلاء: فالاستعلام الذي يفشل غالبًا هو الأخير وصولًا فقط. تعامل مع الخطأ كعَرَض لضغط الذاكرة، لا كعيب في الاستعلام المرفوض.

الخطوة 1: قياس ضغط ذاكرة heap

تتذبذب ذاكرة heap اللحظية على شكل أسنان منشار؛ وتوصي صفحة «high JVM memory pressure» بمتابعة ضغط ذاكرة JVM، وهو متوسط متحرك مرتبط بجمع القمامة في الجيل القديم. حسابه لكل عقدة هو jvm.mem.pools.old.used_in_bytes مقسومًا على max_in_bytes ومضروبًا في 100. وتقدّم الصفحة أمر jq يعمل على استجابة محفوظة من node stats API. هذا هو المبدأ، بمعرّفات توضيحية:

أوامر curl وjq لحساب ضغط ذاكرة JVM لكل عقدة انطلاقًا من _nodes/stats، وقراءة heap.percent عبر _cat/nodes
curl -s -u "$ES_USER:$ES_PASS" "$ES_URL/_nodes/stats" > stats.json
jq -rc '.nodes[]|.name as $n|.jvm.mem.pools.old|{name:$n, memory_pressure:(100*.used_in_bytes/.max_in_bytes|round)}' stats.json

العتبات التي تذكرها Elastic: ينطلق الـ breaker الأب افتراضيًا عند استخدام 95% من ذاكرة JVM، وتنصح الوثائق بالتدخل إذا تجاوز الاستخدام 85% بصورة مستمرة. وفي Elastic Cloud تتحول المؤشرات إلى الأحمر عند 75%. ويعطي الأمر _cat/nodes مع العمود heap.percent نظرة سريعة، لكنها نسبة لحظية.

الخطوة 2: معرفة أي breaker انطلق

تعرض node stats API لكل breaker الاستخدام المقدّر والحدّ وعدد مرات الانطلاق ومعامل الزيادة (overhead). قارن عدّاد انطلاق الأب بعدّادات الأبناء. وبحسب صفحة استكشاف الأخطاء، توفر واجهة مخصصة اسمها cat circuit breaker ابتداءً من الإصدار 9.3 مخرجات جدولية لكل breaker ولكل عقدة. لا تفصّل الصفحة الطلب الدقيق: راجع مرجع إصدارك قبل أتمتته.

ضع في بالك حدًّا تقرّ به الوثائق: تعتمد الـ breakers على تقديرات لحظية. فالعمليات المتوازية والتجميعات والاستعلامات المعقدة والذاكرة خارج heap (مكدسات الخيوط) قد تتسبب مع ذلك في OOM.

الخطوة 3: معالجة الأسباب الشائعة

قبل رفع أي حدّ، ابحث عن السبب. فرفع indices.breaker.total.limit ينقل المشكلة نحو OOM. الأسباب والمسارات التي تسردها Elastic:

  • fielddata على حقل text: معطّل افتراضيًا. إذا فعّلته فاستخدم حقل keyword (multi-field). وإلا فإن clear cache API تفرغ الذاكرة المؤقتة، مع خطر إرباك عمليات البحث الجارية التي تستخدمها.
  • حجم heap: Xms مساوٍ لـ Xmx، وبما لا يزيد على نصف ذاكرة RAM في النظام؛ وتحقق من compressed OOPs (jvm.using_compressed_ordinary_object_pointers) التي تُفقد غالبًا فوق نحو 30 GB.
  • Swap: يجب تعطيله؛ وراقب os.swap.used_in_bytes.
  • كثرة الـ shards أو الـ segments: يستهلك كل shard ذاكرة؛ وعدد أقل من الـ shards الأكبر حجمًا أكثر كفاءة عمومًا. ويقلل force merge بعد انتهاء الكتابة عدد الـ segments.
  • عمليات البحث المكلفة: فعّل slow logs، ثم فكّر في index.max_result_window أو search.max_buckets أو search.allow_expensive_queries أو search.default_search_timeout (تذكر الصفحة 5000 و20000 وfalse و"1m" كأمثلة، لا كقيم موصى بها).
  • طلبات bulk وmulti-search الكبيرة جدًا: أرسل طلبات أصغر وأكثر تباعدًا.

إذا بقيت ذاكرة heap مرتفعة رغم هذه المعالجات، تقترح الوثائق التقاط heap dump أثناء ارتفاع الذاكرة، أو زيادة ذاكرة العقد.

الخطوة 4: تصدير مقاييس JVM والـ breaker إلى Dynatrace

يستعلم المستقبِل elasticsearch في OpenTelemetry Collector (توزيعة contrib، والمقاييس في مرحلة beta، وElasticsearch 7.9 كحد أدنى بحسب README الخاص به) واجهة العنقود. ويسرد ملف مقاييسه، المفعّلة افتراضيًا: elasticsearch.breaker.memory.estimated وelasticsearch.breaker.memory.limit وelasticsearch.breaker.tripped وjvm.memory.heap.used وjvm.memory.heap.max، إضافة إلى jvm.memory.pool.used وjvm.memory.pool.max. أما المقياس jvm.memory.heap.utilization فهو موجود لكنه معطّل افتراضيًا. وعند تفعيل الأمان يحتاج المستخدم إلى صلاحية العنقود monitor أو manage.

إعداد OpenTelemetry Collector: المستقبِل elasticsearch مع nodes عند _local، والمصدِّر otlphttp نحو Dynatrace، وخط معالجة المقاييس

يعتمد الإعداد معاملات README (nodes: ["_local"] لمستقبِل واحد لكل عقدة؛ وضبط skip_cluster_metrics على true يتفادى تكرار مقاييس العنقود). أما الإرسال إلى Dynatrace والـ token والمعالج cumulativetodelta فمشروحة في دليلنا من Collector إلى Dynatrace؛ وراجع أيضًا الدرس الخاص بالمستقبِل elasticsearch. عدّل المتغيرين DT_ENDPOINT وDT_PLATFORM_TOKEN، ولا ترفع الـ token إلى المستودع أبدًا.

كيف تتحقق من أن الإعداد يعمل

  1. أضف المصدِّر debug إلى خط المعالجة: يجب أن تظهر المقاييس elasticsearch.breaker.* وjvm.memory.* في سجلات Collector.
  2. في Dynatrace، ابحث عن أسماء هذه المقاييس وأنشئ سلسلة لكل عقدة؛ ويرد استعلام DQL في المقال عن استعلامات DQL timeseries.
  3. أنشئ تنبيهًا على ارتفاع elasticsearch.breaker.tripped وآخر على استخدام heap القريب من عتبة 85% التي تذكرها Elastic. وأضف تنبيه غياب البيانات: فالعقدة التي لم تعد تستجيب لا تنتج أي نقطة.

ما الذي يتغير بالنسبة لفريق SRE

يستهلك الخطأ 429 الصادر عن breaker من error budget لمؤشر SLI لتوافر البحث أو الاستيعاب. ضع العتبات على اتجاه ضغط الذاكرة بدل الخطأ نفسه، لتتحرك قبل الرفض. واكتب runbook بأسلوب blameless: فالاستعلام الذي يفشل نادرًا ما يكون المسؤول الوحيد. ولمقارنة هذا النهج بحل متكامل، راجع مقارنة Dynatrace وDatadog؛ وللفرق بين القياس والفهم، راجع قابلية الملاحظة والمراقبة.

أفضل الممارسات

  • عالج السبب (fielddata والـ shards والاستعلامات) قبل تعديل حدّ أي breaker.
  • تابع ضغط ذاكرة الجيل القديم، لا ذاكرة heap اللحظية فقط.
  • نبّه قبل 95%: تقترح الوثائق 85% كعتبة للتدخل.
  • ثبّت إصدار Collector: فالمستقبِل في مرحلة beta.

الأسئلة الشائعة

ما الحد الافتراضي للـ breaker الأب؟

95% من heap في JVM عندما تكون قيمة indices.breaker.total.use_real_memory تساوي true (وهي القيمة الافتراضية)، وإلا 70%، بحسب وثائق Elastic.

هل يجب رفع indices.breaker.total.limit؟

نادرًا. توجّه الوثائق نحو تقليل ضغط الذاكرة. فرفع الحد يترك هامشًا أقل قبل OutOfMemory.

ما رمز HTTP الذي يعيده breaker انطلق؟

الحالة 429، مع خطأ circuit_breaking_exception يبدأ سببه بـ [parent] Data too large.

الخلاصة: يحمي الـ breaker الأب العقدة، لكنه يكشف أن heap تحت ضغط. قس ضغط الذاكرة، وابحث عن السبب، ثم صدّر المقاييس عبر OTLP لتتلقى تنبيهًا قبل الخطأ 429.

المصادر الرسمية: إعدادات circuit breakers وcircuit breaker errors وhigh JVM memory pressure والمستقبِل elasticsearch.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا لشركة Elastic N.V. Dynatrace علامة تجارية لشركة Dynatrace LLC. أسماء المنتجات تعود إلى مالكيها؛ والمعرّفات وعناوين URL في الأمثلة وهمية. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
RUM Elastic APM : activer le RUM et lire les métriques de navigation

RUM Elastic APM: تفعيل RUM وقراءة مقاييس التنقل

Next Post
Métriques custom Datadog : réduire la cardinalité sans coder

مقاييس Datadog المخصصة: تقليل الأصالة العددية دون برمجة

Related Posts