ينقل OpenTelemetry Collector لديك كل تتبعاتك ومقاييسك وسجلاتك. فإذا امتلأ أو رفض بيانات أو عجز عن التصدير، فقدت جزءًا من الرؤية دون أي رسالة خطأ من جهة التطبيق. لذا فإن مراقبة OpenTelemetry Collector تعني حماية خط المعالجة الذي يغذي أهداف SLO والتنبيهات وتحليل الحوادث.
هدف هذا الدرس التطبيقي: تفعيل القياس الداخلي للـ Collector وإرساله إلى Dynatrace، ثم وضع ثلاثة فحوص بسيطة على الرفض وإخفاقات التصدير وقائمة الانتظار. المحتوى صالح لـ Dynatrace SaaS (المقاييس في Grail واستعلامات DQL) ولـ Dynatrace Managed (استيعاب OTLP عبر ActiveGate، ومستكشف البيانات وأحداث المقاييس الكلاسيكية). نشير إلى الفروق في كل خطوة.
إذا كان الـ Collector لديك لا يرسل بيانات إلى Dynatrace بعد، فابدأ بـ دليل إعداد Collector من OpenTelemetry لـ Dynatrace.
المشكلة: خط معالجة أعمى تجاه نفسه
الـ Collector الذي تفشل صادراته لا يصنع حادثة ظاهرة. تختفي وحدات span، وتُظهر الرسوم البيانية فجوة، ويبحث فريق المناوبة عن عطل في التطبيق لا وجود له. النتيجة: MTTR يطول وأهداف SLO محسوبة على بيانات ناقصة. والخبر الجيد: الـ Collector يعرض فعلًا مقاييسه الخاصة. يكفي أن تجمعها.
المتطلبات
- OpenTelemetry Collector حديث (توزيعة
otelcol-contribأو توزيعة Dynatrace). يفترض هذا الدرس الإصدار 0.100 أو أحدث؛ وقد تطورت صياغةservice.telemetry، فراجع سجل التغييرات (changelog) لإصدارك. - رمز API من Dynatrace بالنطاق
metrics.ingest(استيعاب مقاييس OTLP). - عنوان بيئتك:
https://{environment-id}.live.dynatrace.comفي SaaS، أوhttps://{activegate}:9999/e/{environment-id}في Managed.
الخطوة 1: عرض القياس الداخلي للـ Collector
تتحكم الكتلة service.telemetry في القياس عن بُعد الخاص بالـ Collector نفسه. الأمتن أن تعرض المقاييس بصيغة Prometheus محليًا، ثم تعيد قراءتها بمستقبِل Prometheus (receiver). وبذلك تسلك خط المعالجة نفسه الذي تسلكه بقية مقاييسك.
service:
telemetry:
logs:
level: info
metrics:
level: detailed # basic, normal or detailed
readers:
- pull:
exporter:
prometheus:
host: 0.0.0.0
port: 8888
أسطر حاسمة: يضيف level: detailed مقاييس مفيدة عن قوائم الانتظار والدفعات؛ ويعرض القارئ pull المقاييس على :8888/metrics. في الإصدارات الأقدم كان المكافئ هو address: 0.0.0.0:8888 تحت metrics.
الخطوة 2: إعادة قراءة هذه المقاييس وإرسالها إلى Dynatrace
أضف مستقبِل Prometheus يستعلم المنفذ 8888، ثم خط معالجة مخصصًا. يتوقع Dynatrace مقاييس OTLP بزمنية دلتا (delta): يحوّل المعالج cumulativetodelta عدّادات Prometheus، وهي تراكمية. تفاصيل هذه النقطة في مقال زمنية مقاييس OTLP.
receivers:
prometheus/self:
config:
scrape_configs:
- job_name: otelcol-self
scrape_interval: 30s
static_configs:
- targets: ["127.0.0.1:8888"]
processors:
cumulativetodelta: {}
batch: {}
exporters:
otlphttp/dynatrace:
endpoint: https://{environment-id}.live.dynatrace.com/api/v2/otlp
headers:
Authorization: "Api-Token ${env:DT_API_TOKEN}"
service:
pipelines:
metrics/self:
receivers: [prometheus/self]
processors: [cumulativetodelta, batch]
exporters: [otlphttp/dynatrace]
في Managed استبدل نقطة النهاية بـ https://{activegate}:9999/e/{environment-id}/api/v2/otlp. يبقى الرمز في متغير بيئة، لا في الملف أبدًا.
فخ كلاسيكي: إذا تعطل المُصدِّر نحو Dynatrace، تعطلت المقاييس الداخلية معه. احتفظ إلى جانب ذلك بفحص خارجي، مثل الامتداد (extension) health_check الذي تستطلعه Kubernetes.
extensions:
health_check:
endpoint: 0.0.0.0:13133
service:
extensions: [health_check]
الخطوة 3: تحديد المقاييس التي تهم
ينشر الـ Collector عشرات السلاسل. وبالنسبة إلى فريق المناوبة تكفي أربع عائلات:
otelcol_receiver_accepted_spansوotelcol_receiver_refused_spans: ما يدخل وما يُرفض (والمكافئان_metric_pointsو_log_records)؛otelcol_exporter_sent_spansوotelcol_exporter_send_failed_spans: ما يخرج وما يفشل؛otelcol_exporter_queue_sizeوotelcol_exporter_queue_capacity: امتلاء قائمة الإرسال؛otelcol_process_memory_rssوotelcol_process_cpu_seconds: صحة العملية.
انتبه إلى التسمية: بحسب الإصدار والمرور عبر Prometheus، تحمل العدّادات غالبًا اللاحقة _total (مثل otelcol_exporter_send_failed_spans_total). تحقق من الأسماء الدقيقة على /metrics قبل كتابة استعلاماتك.
كيف تتحقق من أن كل شيء يعمل
ابدأ محليًا، على جهاز الـ Collector أو الـ pod الخاص به:
curl -s http://127.0.0.1:8888/metrics | grep -E "otelcol_exporter_(sent|send_failed)_spans"
curl -s http://127.0.0.1:13133/
يجب أن ترى عدّادات غير صفرية واستجابة صحة. بعد ذلك، في Dynatrace SaaS، افتح Notebook ونفّذ:
timeseries failed = sum(otelcol_exporter_send_failed_spans_total),
sent = sum(otelcol_exporter_sent_spans_total),
by: { exporter },
interval: 5m
إذا لم يُرجع الاستعلام شيئًا، فابحث عن الاسم الفعلي للمقياس بالاستعلام fetch dt.metrics | filter contains(metric.key, "otelcol")؛ وتوافر هذا الأمر يتوقف على بيئتك، فراجع وثائق DQL. في Managed افتح مستكشف البيانات (Data Explorer) واكتب otelcol في محدِّد المقاييس.
الخطوة 4: التنبيه على الإشارات الصحيحة
ثلاثة تنبيهات تغطي الأساس دون ضجيج:
- إخفاقات التصدير:
send_failedأكبر من صفر طوال 10 دقائق. هذا فقدان فعلي للبيانات. - قائمة انتظار شبه ممتلئة:
queue_size / queue_capacityفوق 80% طوال 10 دقائق. سيبدأ الـ Collector قريبًا برفض البيانات. - رفض عند المدخل: ارتفاع
refused_spans، وهو غالبًا علامة على أنmemory_limiterيحمي العملية.
في SaaS أنشئ هذه التنبيهات بـ Davis Anomaly Detection انطلاقًا من استعلام DQL، مثل:
timeseries q = max(otelcol_exporter_queue_size), cap = max(otelcol_exporter_queue_capacity),
by: { exporter }, interval: 1m
| fieldsAdd ratio = q[] / cap[] * 100
في Managed أنشئ حدث مقياس (Settings، Anomaly detection، Metric events) على المقياس المستوعَب بعتبة ثابتة. ثم وجّه هذه التنبيهات كغيرها، عبر ملف تعريف تنبيه (alerting profile) أو Workflow، وفق الطريقة الموصوفة لتنبيهات burn rate.
أفضل ممارسات مراقبة OpenTelemetry Collector
- اعزل خط المعالجة الداخلي: خط
metrics/selfمخصص يمنع خطأً في مقاييس الأعمال من حجب صحة الـ Collector. - ضع وسمًا على كل نسخة: أضف
service.instance.idواسم العنقود (cluster) بالمعالجresource، لتعرف أي Collector يعاني. - اضبط حجم القائمة: اضبط
sending_queueوretry_on_failureعلى المُصدِّر، ثم تحقق من نسبة الامتلاء تحت الحمل. - لا تستخدم
detailedفي كل مكان: يزيد هذا المستوى حجم السلاسل. احتفظ به حيث يفيد التشخيص. - ضاعف الفحص: يكتشف فحص
health_checkالـ Collector المتوقف، وهو ما لا تستطيعه مقاييسه الخاصة.
على Kubernetes تنطبق الإعدادات نفسها عبر قيم Helm: انظر نشر Collector من OpenTelemetry على Kubernetes. وإذا غابت تتبعات رغم سلامة الـ Collector، فاتبع قائمة فحص التتبعات المفقودة من OpenTelemetry.
الأسئلة الشائعة
هل يستطيع الـ Collector إرسال قياسه الداخلي مباشرة بصيغة OTLP؟
نعم، تقبل الإصدارات الحديثة قارئًا من نوع periodic مع مُصدِّر OTLP داخل service.telemetry.metrics. ما زالت الصياغة تتغير من إصدار إلى آخر؛ وطريقة Prometheus الموصوفة هنا أكثر استقرارًا. راجع وثائق إصدارك على opentelemetry.io.
هل تُحتسب هذه المقاييس في الفاتورة؟
نعم، فهي مقاييس مخصصة تُستوعَب كغيرها. يبقى الحجم صغيرًا إذا حافظت على فاصل 30 ثانية والمستوى normal خارج أوقات التشخيص.
هل تغيّر توزيعة Dynatrace من Collector شيئًا؟
المبدأ نفسه: service.telemetry جزء من نواة الـ Collector. تحقق فقط من أن المكوّنات المستخدمة هنا (مستقبِل Prometheus والمعالج cumulativetodelta) مضمّنة في التوزيعة التي اخترتها.
الخلاصة
الـ Collector غير المراقَب نقطة فشل صامتة. بخط معالجة داخلي مخصص وأربع عائلات من المقاييس وثلاثة تنبيهات، تعرف في دقائق إن كان فقدان البيانات ناتجًا عن الـ Collector أو عن التطبيق. هذا يعني مسارات تحقيق خاطئة أقل أثناء الحوادث، وأهداف SLO محسوبة على بيانات موثوقة.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.