عشرة آلاف طلب في الثانية، كلها متتبَّعة وكلها مُرسلة: ترتفع فاتورة الاستيعاب (ingestion)، و99% من التتبعات تصف طلبات سريعة وناجحة لن يقرأها أحد. يحل tail sampling OpenTelemetry هذه المشكلة داخل Collector: ينتظر انتهاء كل تتبع، ثم يحتفظ بالأخطاء والطلبات البطيئة ويأخذ عيّنة من الحركة العادية فقط.
الهدف: في نهاية هذا الدرس التطبيقي يكون لديك Collector يطبّق سياسات tail sampling قبل التصدير إلى Dynatrace، وبنية من مستويين تضمن وصول كل وحدات span في التتبع إلى النسخة نفسها، وطريقة للتحقق مما جرى الاحتفاظ به. المبدأ صالح لـ Dynatrace SaaS ولـ Dynatrace Managed، لأن كل شيء يحدث في الـ Collector قبل نقطة نهاية OTLP. استعلامات DQL للتحقق خاصة بـ SaaS؛ وفي Managed يتم التحقق في عرض التتبعات الموزّعة.
يفترض هذا الدرس وجود Collector جاهز؛ وإلا فابدأ بـ Collector من OpenTelemetry على Kubernetes.
المشكلة: تتبعات كثيرة وليست الصحيحة
أخذ العيّنات عند الرأس (head sampling)، الذي يُقرَّر في بداية الطلب داخل SDK، أعمى: فهو يتخلص من تتبع قبل أن يعرف هل سينتهي بخطأ. بمعدل 10% تفقد 90% من أخطائك النادرة، وهي بالضبط ما يحتاجه فريق المناوبة لخفض MTTR. أما tail sampling فيقرر لاحقًا والتتبع الكامل أمام عينيه.
المتطلبات
- توزيعة
otelcol-contribمن Collector، أو توزيعة تتضمن المعالجtail_samplingوالمُصدِّرloadbalancing. راجع قائمة مكوّنات توزيعة Dynatrace من Collector في وثائقها قبل اختيارها. في الإصدارات الحديثة من Collector contrib يُسمّىloadbalancingوspanmetricsالآنload_balancingوspan_metrics؛ وتظل الأسماء القديمة المستخدمة أدناه مقبولة كأسماء مستعارة مُهمَلة (deprecated aliases). - رمز Dynatrace بالنطاق
openTelemetryTrace.ingest. - تطبيقات ترسل 100% من وحدات span إلى الـ Collector (مُعيِّن عيّنات SDK بقيمة
parentbased_always_on).
كيف يعمل tail sampling OpenTelemetry
يحتفظ المعالج tail_sampling بوحدات span في الذاكرة مجمّعة حسب trace_id. وبعد مهلة (decision_wait) يقيّم مجموعة سياسات. وإذا قالت سياسة واحدة على الأقل «احتفظ»، صُدِّر التتبع كاملًا. نتيجتان عمليتان:
- تزداد ذاكرة الـ Collector مع معدل المعالجة ومهلة الانتظار.
- يجب أن تصل كل وحدات span في التتبع إلى النسخة نفسها من الـ Collector. ومع عدة نسخ (replicas) خلف موزّع أحمال تقليدي تتبعثر وحدات span وتصبح القرارات غير متسقة.
خطوات الإعداد
الخطوة 1: مستوى أول يوجّه حسب trace_id
يستقبل المستوى الأول (وكيل agent أو بوابة توجيه) بيانات OTLP ويوزّع وحدات span بالمُصدِّر loadbalancing، موجِّهًا حسب traceID:
# collector-routing.yaml
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
http:
endpoint: 0.0.0.0:4318
exporters:
loadbalancing:
routing_key: traceID
protocol:
otlp:
tls:
insecure: true
resolver:
dns:
hostname: otel-sampler-headless.observability.svc.cluster.local
port: 4317
service:
pipelines:
traces:
receivers: [otlp]
exporters: [loadbalancing]
السطر الحاسم: routing_key: traceID. يشير محلِّل DNS إلى خدمة Kubernetes من نوع headless ليرى المُصدِّر كل pod في المستوى الثاني.
الخطوة 2: مستوى ثانٍ يأخذ العيّنات
# collector-sampler.yaml
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
processors:
memory_limiter:
check_interval: 1s
limit_percentage: 80
spike_limit_percentage: 20
tail_sampling:
decision_wait: 10s
num_traces: 100000
expected_new_traces_per_sec: 2000
policies:
- name: errors
type: status_code
status_code:
status_codes: [ERROR]
- name: slow
type: latency
latency:
threshold_ms: 1000
- name: payment-always
type: string_attribute
string_attribute:
key: service.name
values: [payment-api]
- name: normal-sample
type: probabilistic
probabilistic:
sampling_percentage: 5
batch: {}
exporters:
otlphttp/dynatrace:
endpoint: "https://<environment-id>.live.dynatrace.com/api/v2/otlp"
headers:
Authorization: "Api-Token ${env:DT_API_TOKEN}"
service:
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, tail_sampling, batch]
exporters: [otlphttp/dynatrace]
قراءة السياسات: تُجمع بمنطق «أو». يُحتفظ بالتتبع إذا احتوى على خطأ، أو استغرق أكثر من ثانية، أو مرّ بـ payment-api، أو وقع ضمن الـ 5% العشوائية. في Managed استبدل نقطة النهاية بـ https://<your-domain>/e/<environment-id>/api/v2/otlp.
إعدادات حاسمة:
- يجب أن يتجاوز
decision_waitمدة أطول تتبعاتك؛ وإلا وصلت وحدات span المتأخرة بعد القرار وتكوّنت تتبعات ناقصة. - يحدّ
num_tracesعدد التتبعات في الذاكرة. حدّد قيمته انطلاقًا من معدل المعالجة ×decision_waitمع هامش أمان. - يأتي
memory_limiterأولًا: فهو يحمي الـ Collector من ذروة الحركة.
الخطوة 3: حفظ المقاييس قبل أخذ العيّنات
بعد أخذ العيّنات يؤدي عدّ وحدات span في Dynatrace إلى التقليل من الحركة الفعلية، فتصبح مؤشرات SLI لمعدل المعالجة ونسبة الأخطاء خاطئة. احسب مقاييس RED قبل أخذ العيّنات، في المستوى الأول، بالموصِّل (connector) spanmetrics وبزمنية دلتا:
connectors:
spanmetrics:
aggregation_temporality: "AGGREGATION_TEMPORALITY_DELTA"
histogram:
explicit:
buckets: [50ms, 100ms, 250ms, 500ms, 1s, 2s]
service:
pipelines:
traces:
receivers: [otlp]
exporters: [loadbalancing, spanmetrics]
metrics:
receivers: [spanmetrics]
exporters: [otlphttp/dynatrace]
أضف في هذا الـ Collector تعريف otlphttp/dynatrace الوارد أعلاه. زمنية دلتا ضرورية لـ Dynatrace (انظر زمنية مقاييس OTLP). راجع في وثائق Dynatrace كيف تعامل المنصة وحدات span التي أُخذت عيّنات منها في إحصاءات الخدمة الخاصة بها: لا تفترض وجود استقراء (extrapolation) تلقائي.
الخطوة 4: النشر ومراقبة الـ Collector نفسه
انشر المستوى الثاني بصيغة StatefulSet أو Deployment مع خدمة headless ونسختين على الأقل وحدود ذاكرة متسقة مع memory_limiter. وأتح القياس الداخلي (internal telemetry) للـ Collector لتتبع سلوكه.
كيف تتحقق من أن كل شيء يعمل
- المقاييس الداخلية للـ Collector: تابع عدّادات المعالج، مثل
otelcol_processor_tail_sampling_count_traces_sampledحسب السياسة والقرار. تختلف الأسماء الدقيقة بحسب الإصدار: اعرضها من نقطة نهاية المقاييس الداخلية. - أخطاء مضمونة الحفظ: تسبّب في خطأ (نقطة نهاية تُرجع 500) وتحقق من وصول تتبعه كاملًا.
- Dynatrace SaaS: قارن الحجم قبل التغيير وبعده ونسبة التتبعات الخاطئة:
fetch spans, from: now() - 1h | filter isNull(span.parent_id) | summarize traces = count(), errors = countIf(span.status_code == "error"), by: {service.name}يجب أن تكون نسبة الأخطاء أعلى بوضوح من ذي قبل: وهذا هو الأثر المتوقع.
- Dynatrace Managed: في عرض التتبعات الموزّعة صفِّ حسب الطلبات الفاشلة وتحقق من أن التتبعات غير مبتورة.
- تتبعات ناقصة: إذا وصلت تتبعات بلا span جذري، فزد
decision_waitأو تحقق من التوجيه حسبtraceID.
أفضل الممارسات
- احتفظ بـ 100% من الأخطاء والطلبات البطيئة؛ وخذ عيّنات من الحركة السليمة فقط.
- لا تجمع head sampling عدوانيًا مع tail sampling: ما يُهمَل داخل SDK لا يعود أبدًا.
- احسب مؤشرات SLI من مقاييس لم تُؤخذ منها عيّنات، ثم نبّه بحسب معدل الاستهلاك (burn rate) (انظر تنبيهات burn rate لأهداف SLO).
- إذا كان OneAgent يقيس بعض الخدمات أيضًا، فتجنب التكرار: انظر OneAgent وOpenTelemetry: تكرار وحدات span.
- راجع السياسات بعد كل حادثة دون البحث عن مذنب: التتبع المفقود عيب في الإعداد، لا في فريق.
الأسئلة الشائعة
هل يمكن تشغيل tail sampling على Collector واحد؟
نعم، إذا كانت نسخة واحدة فقط تستقبل كل وحدات span. وما إن تصبح لديك عدة نسخ يصبح التوجيه حسب traceID إلزاميًا.
ما القيمة المناسبة لـ decision_wait؟
أكثر قليلًا من مدة تتبعاتك عند النسبة المئوية 99. تناسب عشر ثوانٍ كثيرًا من واجهات API المتزامنة؛ أما المعالجات غير المتزامنة الطويلة فتتطلب أكثر، على حساب الذاكرة.
هل تُؤخذ عيّنات من السجلات والمقاييس؟
لا، فالمعالج يعالج التتبعات فقط. السجلات المرتبطة بتتبع مُستبعد تظل مستوعَبة، لكنها تشير إلى تتبع غير موجود.
الخلاصة
يحوّل tail sampling تدفق تتبعات مكلفًا إلى عيّنة مفيدة: كل الأخطاء وكل حالات البطء وقدر من الحركة العادية. والثمن بنية من مستويين وذاكرة إضافية. ابدأ بسياسات بسيطة، وقِس بالمقاييس الداخلية للـ Collector، ثم حسّن. المرجع: وثائق المعالج tail_sampling ووثائق Dynatrace حول OpenTelemetry.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.