مراقبة Elasticsearch باستخدام OpenTelemetry: دليل Collector خطوة بخطوة

مراقبة Elasticsearch باستخدام OpenTelemetry: اضبط receiver elasticsearch في Collector، وصفِّ الفهارس، وأرسل المقاييس إلى Dynatrace.
Elasticsearch OpenTelemetry monitoring : le collecteur pas à pas

تتحول حالة عنقود (cluster) Elasticsearch إلى الأصفر، وترتفع عمليات رفض الفهرسة، ولا أحد يعرف هل المشكلة في الـ shards أم في الذاكرة أم في فهرس كبير جدًا. يوضح هذا الدرس كيف تنفّذ مراقبة Elasticsearch باستخدام OpenTelemetry عبر الـ Collector: يستعلم الـ receiver المسمى elasticsearch عن واجهة API الخاصة بالعنقود وينتج مقاييس OTLP، ثم ترسلها إلى Dynatrace أو إلى backend آخر.

الهدف: في ست خطوات، جمع حالة العنقود والعقد وبعض الفهارس مع إبقاء الـ cardinality تحت السيطرة. كل مقياس يخدم SLI محددًا: توفر العنقود، ورفض عمليات الكتابة، وزمن البحث.

النطاق: الـ receiver موسوم beta (المقاييس فقط) وهو جزء من توزيعة contrib الخاصة بالـ Collector. المحتوى صالح لـ Dynatrace SaaS؛ أما في Managed فعدّل الـ endpoint (راجع دليل Collector إلى Dynatrace).

متطلبات مراقبة Elasticsearch باستخدام OpenTelemetry

  • الإصدار 7.9 من Elasticsearch أو أحدث (الحد الأدنى المذكور في README الخاص بالـ receiver). بعض المقاييس تتطلب أكثر: elasticsearch.indexing_pressure.memory.limit يتطلب 7.10 وelasticsearch.cluster.state_update.count يتطلب 7.16.0.
  • Collector من نوع contrib (الـ receiver غير موجود في توزيعة «core»). راجع مكونات Collector contrib.
  • إذا كان أمان Elasticsearch مفعّلًا: مستخدم مخصص يملك صلاحية العنقود monitor (أو manage).
  • endpoint وجهة بصيغة OTLP ورمز (token) لاستقبال المقاييس.

الخطوة 1: إنشاء مستخدم بصلاحية القراءة فقط

وفق وثائق Elasticsearch، تمنح الصلاحية monitor الوصول إلى جميع عمليات العنقود للقراءة فقط؛ أما manage فتضيف عمليات تعدّل العنقود. بالنسبة إلى الـ collector تكفي monitor بحسب README الخاص بالـ receiver. أنشئ دورًا (role) بهذه الصلاحية وحدها:

PUT /_security/role/otel_monitor
{
  "cluster": ["monitor"]
}

ثم اربط هذا الدور بمستخدم otel (عبر Kibana أو عبر واجهة API المسماة «Create or update users»؛ لا يُفصَّل هنا الشكل الدقيق لهذا الطلب). أما استدعاء إنشاء الدور نفسه فيتطلب الصلاحية manage_security.

الخطوة 2: تعريف الـ receiver

جميع المعاملات اختيارية. هذا إعداد حذر مستوحى من مثال README:

ملف otelcol-elasticsearch.yaml: الـ receiver المسمى elasticsearch مع endpoint والمستخدم otel وcollection_interval بقيمة 30s وnodes بقيمة _local وindices بقيمة orders-* ومقياسين مفعّل أحدهما ومعطّل الآخر

الأسطر المهمة:

  • endpoint: عنوان URL لواجهة API، والقيمة الافتراضية http://localhost:9200.
  • username وpassword: مصادقة أساسية فقط؛ والحقلان يُستخدمان معًا. تأتي كلمة المرور من متغير بيئة، وليس من الملف أبدًا.
  • collection_interval: القيمة الافتراضية 10s؛ ويوضح README أن العناقيد الكبيرة قد تحتاج فترة أطول. هنا 30 ثانية.
  • nodes: ["_local"]: القيمة التي يوصي بها README عند تشغيل receiver واحد لكل عقدة. القيمة الافتراضية ["_all"].
  • indices: مرشّح الفهارس التي تُجمع مقاييسها، والقيمة الافتراضية ["_all"].
  • metrics: يفعّل كل مقياس أو يعطّله بحسب اسمه.

الخطوة 3: التحكم في الـ cardinality بتصفية الفهارس

تحمل مقاييس الفهارس اسم الفهرس بوصفه بُعدًا. ومع مئات الفهارس اليومية ينفجر عدد السلاسل. هناك ثلاث وسائل، كلها من README:

  1. indices مع أنماط (orders-*) لمتابعة الفهارس المفيدة فقط؛ والقائمة الفارغة تعطّل مقاييس الفهارس.
  2. index_stats_master_only: true: لا يُستعلم عن /_stats إلا على العقدة الرئيسية (master) المنتخبة، وهذا يتجنب التكرار إذا كان لديك receiver لكل عقدة.
  3. cluster_stats_master_only: true: المنطق نفسه بالنسبة إلى /_cluster/stats. أثناء انتخاب العقدة الرئيسية لا تُجمع أي إحصاءات إلى أن تُنتخب عقدة رئيسية جديدة.

إذا شغّلت receiver لكل عقدة، فاجمع nodes: ["_local"] مع خياري «master only» هذين. وإذا كان Collector واحد يستعلم عن العنقود كله، فأبقِ على _all.

أفضل الممارسات

  • مستخدم واحد لكل collector، بالصلاحية monitor فقط.
  • صفِّ الفهارس بالأنماط منذ البداية: التقليص لاحقًا أكثر إزعاجًا.
  • عطّل المقاييس التي لا يستخدمها أحد، وفعّل الاختيارية عند الحاجة.
  • أطِل collection_interval قبل إضافة قدرة حاسوبية إلى العنقود.

الخطوة 4: اختيار المقاييس المفيدة

تسرد وثائق الـ receiver (documentation.md) المقاييس ووحداتها. تكفي بضعة مقاييس للوحة معلومات أولى:

مقطع من وثائق الـ receiver المسمى elasticsearch: cluster.health وcluster.shards وcluster.pending_tasks وbreaker.tripped وعمليات رفض الفهرسة الأولية وindex.documents مع وحداتها

يحمل elasticsearch.cluster.health سمة status (green وyellow وred): وهي أساس SLI للتوفر. ويميّز elasticsearch.cluster.shards بين الـ shards النشطة وقيد النقل وقيد التهيئة وغير المعيّنة. وعدة مقاييس اختيارية ومعطّلة افتراضيًا، مثل elasticsearch.process.cpu.usage أو jvm.memory.heap.utilization: فعّلها عبر enabled: true.

الخطوة 5: إرسال المقاييس إلى Dynatrace

أضف مصدّر OTLP HTTP ومسار (pipeline) للمقاييس. وفق وثائق Dynatrace، يقرأ المصدّر الـ endpoint ورمز المنصة (platform token) من متغيرات البيئة، مع ترويسة Authorization: Bearer؛ والنطاق (scope) المذكور لاستقبال OTLP هو openpipeline:metrics:ingest للمقاييس.

exporters:
  otlphttp:
    endpoint: ${env:DT_ENDPOINT}
    headers:
      Authorization: "Bearer ${env:DT_PLATFORM_TOKEN}"

service:
  pipelines:
    metrics:
      receivers: [elasticsearch]
      processors: [batch]
      exporters: [otlphttp]

انتبه: هذه المقاييس من نوع Sum cumulative (وثائق الـ receiver). يوصي دليل Collector لدينا بالمعالج cumulativetodelta مع Dynatrace؛ تحقق من هذه النقطة في وثائق إصدارك (لم تُراجَع من جديد هنا). ولمراقبة الـ Collector نفسه، راجع مراقبة OpenTelemetry Collector.

الخطوة 6: كيف تتحقق من أن كل شيء يعمل

  1. شغّل الـ Collector مع إضافة المصدّر debug إلى المسار: يجب أن تظهر المقاييس elasticsearch.* في السجلات.
  2. يدل الخطأ 401 أو 403 على مستخدم أو صلاحية غير صحيحة؛ تحقق من monitor.
  3. لا توجد مقاييس للفهارس: إما أن النمط في indices لا يطابق شيئًا، أو أن القائمة فارغة.
  4. في Dynatrace، ابحث عن البادئة elasticsearch. في Metrics browser أو عبر استعلام DQL من نوع timeseries.

ما الذي يتغير بالنسبة إلى فريق SRE

يبقى الـ receiver في مرحلة beta: قد تتغير الأسماء والسمات بين الإصدارات. كما يشير README إلى أنه ينبغي يومًا ما أن يُجهَّز Elasticsearch مباشرة بواسطة OpenTelemetry Java SDK. ثبّت إصدار الـ Collector، واختبر التحديثات، وأطلق التنبيه عند غياب البيانات بدل الاكتفاء بعتبة. وللمقارنة بين هذا النهج وحل متكامل، راجع المقارنة بين Dynatrace وDatadog.

الأسئلة الشائعة

ما إصدارات Elasticsearch التي يدعمها الـ receiver؟

يذكر README الإصدار 7.9 فما فوق. وبعض المقاييس تتطلب إصدارًا أحدث، مثل 7.10 أو 7.16.0.

ما الصلاحية التي يجب منحها للمستخدم؟

صلاحية العنقود monitor أو manage. تكفي monitor للقراءة وتحترم مبدأ أقل الصلاحيات.

هل الـ receiver مستقر؟

لا: هو موسوم beta للمقاييس. اختبر كل ترقية لإصدار الـ Collector قبل نشرها.

الخلاصة: receiver واحد ومستخدم monitor ومرشحات للفهارس ومصدّر واحد تكفي لمتابعة الحالة والـ shards وضغط الفهرسة. راقب الـ cardinality وحالة beta.

المصادر الرسمية: README الخاص بـ receiver elasticsearch، واجهة OTLP API في Dynatrace.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا لشركة Elastic N.V. Dynatrace علامة تجارية لشركة Dynatrace LLC. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
OTLP APM Server ou EDOT Collector : quel chemin choisir

OTLP APM Server أو EDOT Collector: أي مسار تختار

Next Post
OTLP vers Datadog : Agent, DDOT ou intake direct, comment choisir

OTLP إلى Datadog: الوكيل أم DDOT أم الاستقبال المباشر، كيف تختار

Related Posts