مراقبة OpenTelemetry Collector: قياسه الداخلي في Dynatrace (SaaS وManaged)

مراقبة OpenTelemetry Collector: اعرض قياسه الداخلي وأرسله إلى Dynatrace ونبّه على الرفض وقائمة الانتظار وإخفاقات التصدير.
Superviser collector OpenTelemetry : sa télémétrie interne dans Dynatrace (SaaS et Managed)

ينقل OpenTelemetry Collector لديك كل تتبعاتك ومقاييسك وسجلاتك. فإذا امتلأ أو رفض بيانات أو عجز عن التصدير، فقدت جزءًا من الرؤية دون أي رسالة خطأ من جهة التطبيق. لذا فإن مراقبة OpenTelemetry Collector تعني حماية خط المعالجة الذي يغذي أهداف SLO والتنبيهات وتحليل الحوادث.

هدف هذا الدرس التطبيقي: تفعيل القياس الداخلي للـ Collector وإرساله إلى Dynatrace، ثم وضع ثلاثة فحوص بسيطة على الرفض وإخفاقات التصدير وقائمة الانتظار. المحتوى صالح لـ Dynatrace SaaS (المقاييس في Grail واستعلامات DQL) ولـ Dynatrace Managed (استيعاب OTLP عبر ActiveGate، ومستكشف البيانات وأحداث المقاييس الكلاسيكية). نشير إلى الفروق في كل خطوة.

إذا كان الـ Collector لديك لا يرسل بيانات إلى Dynatrace بعد، فابدأ بـ دليل إعداد Collector من OpenTelemetry لـ Dynatrace.

المشكلة: خط معالجة أعمى تجاه نفسه

الـ Collector الذي تفشل صادراته لا يصنع حادثة ظاهرة. تختفي وحدات span، وتُظهر الرسوم البيانية فجوة، ويبحث فريق المناوبة عن عطل في التطبيق لا وجود له. النتيجة: MTTR يطول وأهداف SLO محسوبة على بيانات ناقصة. والخبر الجيد: الـ Collector يعرض فعلًا مقاييسه الخاصة. يكفي أن تجمعها.

المتطلبات

  • OpenTelemetry Collector حديث (توزيعة otelcol-contrib أو توزيعة Dynatrace). يفترض هذا الدرس الإصدار 0.100 أو أحدث؛ وقد تطورت صياغة service.telemetry، فراجع سجل التغييرات (changelog) لإصدارك.
  • رمز API من Dynatrace بالنطاق metrics.ingest (استيعاب مقاييس OTLP).
  • عنوان بيئتك: https://{environment-id}.live.dynatrace.com في SaaS، أو https://{activegate}:9999/e/{environment-id} في Managed.

الخطوة 1: عرض القياس الداخلي للـ Collector

تتحكم الكتلة service.telemetry في القياس عن بُعد الخاص بالـ Collector نفسه. الأمتن أن تعرض المقاييس بصيغة Prometheus محليًا، ثم تعيد قراءتها بمستقبِل Prometheus (receiver). وبذلك تسلك خط المعالجة نفسه الذي تسلكه بقية مقاييسك.

service:
  telemetry:
    logs:
      level: info
    metrics:
      level: detailed            # basic, normal or detailed
      readers:
        - pull:
            exporter:
              prometheus:
                host: 0.0.0.0
                port: 8888

أسطر حاسمة: يضيف level: detailed مقاييس مفيدة عن قوائم الانتظار والدفعات؛ ويعرض القارئ pull المقاييس على :8888/metrics. في الإصدارات الأقدم كان المكافئ هو address: 0.0.0.0:8888 تحت metrics.

الخطوة 2: إعادة قراءة هذه المقاييس وإرسالها إلى Dynatrace

أضف مستقبِل Prometheus يستعلم المنفذ 8888، ثم خط معالجة مخصصًا. يتوقع Dynatrace مقاييس OTLP بزمنية دلتا (delta): يحوّل المعالج cumulativetodelta عدّادات Prometheus، وهي تراكمية. تفاصيل هذه النقطة في مقال زمنية مقاييس OTLP.

receivers:
  prometheus/self:
    config:
      scrape_configs:
        - job_name: otelcol-self
          scrape_interval: 30s
          static_configs:
            - targets: ["127.0.0.1:8888"]

processors:
  cumulativetodelta: {}
  batch: {}

exporters:
  otlphttp/dynatrace:
    endpoint: https://{environment-id}.live.dynatrace.com/api/v2/otlp
    headers:
      Authorization: "Api-Token ${env:DT_API_TOKEN}"

service:
  pipelines:
    metrics/self:
      receivers: [prometheus/self]
      processors: [cumulativetodelta, batch]
      exporters: [otlphttp/dynatrace]

في Managed استبدل نقطة النهاية بـ https://{activegate}:9999/e/{environment-id}/api/v2/otlp. يبقى الرمز في متغير بيئة، لا في الملف أبدًا.

فخ كلاسيكي: إذا تعطل المُصدِّر نحو Dynatrace، تعطلت المقاييس الداخلية معه. احتفظ إلى جانب ذلك بفحص خارجي، مثل الامتداد (extension) health_check الذي تستطلعه Kubernetes.

extensions:
  health_check:
    endpoint: 0.0.0.0:13133

service:
  extensions: [health_check]

الخطوة 3: تحديد المقاييس التي تهم

ينشر الـ Collector عشرات السلاسل. وبالنسبة إلى فريق المناوبة تكفي أربع عائلات:

  • otelcol_receiver_accepted_spans وotelcol_receiver_refused_spans: ما يدخل وما يُرفض (والمكافئان _metric_points و_log_records)؛
  • otelcol_exporter_sent_spans وotelcol_exporter_send_failed_spans: ما يخرج وما يفشل؛
  • otelcol_exporter_queue_size وotelcol_exporter_queue_capacity: امتلاء قائمة الإرسال؛
  • otelcol_process_memory_rss وotelcol_process_cpu_seconds: صحة العملية.

انتبه إلى التسمية: بحسب الإصدار والمرور عبر Prometheus، تحمل العدّادات غالبًا اللاحقة _total (مثل otelcol_exporter_send_failed_spans_total). تحقق من الأسماء الدقيقة على /metrics قبل كتابة استعلاماتك.

كيف تتحقق من أن كل شيء يعمل

ابدأ محليًا، على جهاز الـ Collector أو الـ pod الخاص به:

curl -s http://127.0.0.1:8888/metrics | grep -E "otelcol_exporter_(sent|send_failed)_spans"
curl -s http://127.0.0.1:13133/

يجب أن ترى عدّادات غير صفرية واستجابة صحة. بعد ذلك، في Dynatrace SaaS، افتح Notebook ونفّذ:

timeseries failed = sum(otelcol_exporter_send_failed_spans_total),
           sent = sum(otelcol_exporter_sent_spans_total),
           by: { exporter },
           interval: 5m

إذا لم يُرجع الاستعلام شيئًا، فابحث عن الاسم الفعلي للمقياس بالاستعلام fetch dt.metrics | filter contains(metric.key, "otelcol")؛ وتوافر هذا الأمر يتوقف على بيئتك، فراجع وثائق DQL. في Managed افتح مستكشف البيانات (Data Explorer) واكتب otelcol في محدِّد المقاييس.

الخطوة 4: التنبيه على الإشارات الصحيحة

ثلاثة تنبيهات تغطي الأساس دون ضجيج:

  1. إخفاقات التصدير: send_failed أكبر من صفر طوال 10 دقائق. هذا فقدان فعلي للبيانات.
  2. قائمة انتظار شبه ممتلئة: queue_size / queue_capacity فوق 80% طوال 10 دقائق. سيبدأ الـ Collector قريبًا برفض البيانات.
  3. رفض عند المدخل: ارتفاع refused_spans، وهو غالبًا علامة على أن memory_limiter يحمي العملية.

في SaaS أنشئ هذه التنبيهات بـ Davis Anomaly Detection انطلاقًا من استعلام DQL، مثل:

timeseries q = max(otelcol_exporter_queue_size), cap = max(otelcol_exporter_queue_capacity),
           by: { exporter }, interval: 1m
| fieldsAdd ratio = q[] / cap[] * 100

في Managed أنشئ حدث مقياس (Settings، Anomaly detection، Metric events) على المقياس المستوعَب بعتبة ثابتة. ثم وجّه هذه التنبيهات كغيرها، عبر ملف تعريف تنبيه (alerting profile) أو Workflow، وفق الطريقة الموصوفة لتنبيهات burn rate.

أفضل ممارسات مراقبة OpenTelemetry Collector

  • اعزل خط المعالجة الداخلي: خط metrics/self مخصص يمنع خطأً في مقاييس الأعمال من حجب صحة الـ Collector.
  • ضع وسمًا على كل نسخة: أضف service.instance.id واسم العنقود (cluster) بالمعالج resource، لتعرف أي Collector يعاني.
  • اضبط حجم القائمة: اضبط sending_queue وretry_on_failure على المُصدِّر، ثم تحقق من نسبة الامتلاء تحت الحمل.
  • لا تستخدم detailed في كل مكان: يزيد هذا المستوى حجم السلاسل. احتفظ به حيث يفيد التشخيص.
  • ضاعف الفحص: يكتشف فحص health_check الـ Collector المتوقف، وهو ما لا تستطيعه مقاييسه الخاصة.

على Kubernetes تنطبق الإعدادات نفسها عبر قيم Helm: انظر نشر Collector من OpenTelemetry على Kubernetes. وإذا غابت تتبعات رغم سلامة الـ Collector، فاتبع قائمة فحص التتبعات المفقودة من OpenTelemetry.

الأسئلة الشائعة

هل يستطيع الـ Collector إرسال قياسه الداخلي مباشرة بصيغة OTLP؟

نعم، تقبل الإصدارات الحديثة قارئًا من نوع periodic مع مُصدِّر OTLP داخل service.telemetry.metrics. ما زالت الصياغة تتغير من إصدار إلى آخر؛ وطريقة Prometheus الموصوفة هنا أكثر استقرارًا. راجع وثائق إصدارك على opentelemetry.io.

هل تُحتسب هذه المقاييس في الفاتورة؟

نعم، فهي مقاييس مخصصة تُستوعَب كغيرها. يبقى الحجم صغيرًا إذا حافظت على فاصل 30 ثانية والمستوى normal خارج أوقات التشخيص.

هل تغيّر توزيعة Dynatrace من Collector شيئًا؟

المبدأ نفسه: service.telemetry جزء من نواة الـ Collector. تحقق فقط من أن المكوّنات المستخدمة هنا (مستقبِل Prometheus والمعالج cumulativetodelta) مضمّنة في التوزيعة التي اخترتها.

الخلاصة

الـ Collector غير المراقَب نقطة فشل صامتة. بخط معالجة داخلي مخصص وأربع عائلات من المقاييس وثلاثة تنبيهات، تعرف في دقائق إن كان فقدان البيانات ناتجًا عن الـ Collector أو عن التطبيق. هذا يعني مسارات تحقيق خاطئة أقل أثناء الحوادث، وأهداف SLO محسوبة على بيانات موثوقة.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Attributs OpenTelemetry Dynatrace : service.name, enrichissement et allow-list

سمات OpenTelemetry في Dynatrace: service.name والإثراء وقائمة السماح

Next Post
Site Reliability Guardian : valider une release automatiquement sur vos SLO (Dynatrace SaaS)

Site Reliability Guardian: تحقق من الإصدار تلقائيًا على أهداف SLO (Dynatrace SaaS)

Related Posts