ترسل الـ pods لديك تتبعات OpenTelemetry، لكنها تصل إلى Dynatrace بلا اسم pod ولا namespace ولا عقدة. يستحيل ربط زمن استجابة بنشر (deployment) محدد، ويطول MTTR. ونشر Collector الخاص بـ OpenTelemetry على Kubernetes، مُثرًى بالمعالج k8sattributes، يعالج هذه المشكلة من جذرها.
هدف هذا الدرس التطبيقي: تثبيت Collector في العنقود (cluster) بـ Helm (أو بـ OpenTelemetry Operator)، وإضافة بيانات Kubernetes الوصفية إلى كل span ومقياس وسجل، ثم تصدير كل ذلك بـ OTLP إلى Dynatrace. ينطبق المحتوى على Dynatrace SaaS وDynatrace Managed؛ وعنوان الاستيعاب (URL) وحده يتغير.
إن كنت تكتشف Collector فابدأ بـ Collector الخاص بـ OpenTelemetry نحو Dynatrace، الذي يشرح خط receivers → processors → exporters خارج Kubernetes.
المتطلبات
- عنقود Kubernetes بإصدار 1.26 أو أحدث، وأداة
kubectlوHelm 3. - رمز API مميّز من Dynatrace بالنطاقات
openTelemetryTrace.ingestوmetrics.ingestوlogs.ingest. - عنوان OTLP لبيئتك:
- SaaS:
https://<env-id>.live.dynatrace.com/api/v2/otlp؛ - Managed:
https://<votre-domaine>/e/<env-id>/api/v2/otlp(أو عبر ActiveGate للبيئة).
- SaaS:
- تطبيقات مقيسة أصلًا بـ SDK أو وكيل OpenTelemetry (مثل وكيل OpenTelemetry لـ Java).
أي نمط نشر تختار؟
- DaemonSet: Collector واحد لكل عقدة. ترسل الـ pods بياناتها إلى Collector المحلي. وهو النمط الموصى به لـ
k8sattributesلأن Collector لا يراقب إلا pods عقدته. - Deployment: مجموعة Collectors خلف Service. مفيد كبوابة مركزية، مثلًا لأخذ العيّنات.
- Dynatrace Operator: يدير OneAgent وActiveGate. لا تخلطه بـ OpenTelemetry Operator الذي يدير Collectors والقياس التلقائي. ويمكن أن يتعايش الاثنان في العنقود نفسه.
يستخدم هذا الدرس DaemonSet. وإن كان OneAgent يعمل في العنقود أيضًا فاقرأ كيف تتجنب الـ spans المزدوجة قبل تفعيل الاثنين.
تثبيت Collector الخاص بـ OpenTelemetry على Kubernetes بـ Helm
الخطوة 1: إنشاء الـ namespace والسر
kubectl create namespace observability
kubectl -n observability create secret generic dynatrace-otlp \
--from-literal=DT_ENDPOINT='https://<env-id>.live.dynatrace.com/api/v2/otlp' \
--from-literal=DT_API_TOKEN='dt0c01.XXXX'
يبقى الرمز المميّز في Secret، لا في ملف القيم الخاضع للإصدارات.
الخطوة 2: كتابة ملف values.yaml
mode: daemonset
image:
repository: otel/opentelemetry-collector-contrib
command:
name: otelcol-contrib
presets:
kubernetesAttributes:
enabled: true # ajoute k8sattributes + RBAC
extractAllPodLabels: false
extraEnvsFrom:
- secretRef:
name: dynatrace-otlp
config:
receivers:
otlp:
protocols:
grpc:
endpoint: ${env:MY_POD_IP}:4317
http:
endpoint: ${env:MY_POD_IP}:4318
processors:
memory_limiter:
check_interval: 1s
limit_percentage: 80
spike_limit_percentage: 25
cumulative_to_delta: {}
batch:
send_batch_size: 1000
timeout: 5s
exporters:
otlphttp/dynatrace:
endpoint: ${env:DT_ENDPOINT}
headers:
Authorization: "Api-Token ${env:DT_API_TOKEN}"
service:
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, k8s_attributes, batch]
exporters: [otlphttp/dynatrace]
metrics:
receivers: [otlp]
processors: [memory_limiter, k8s_attributes, cumulative_to_delta, batch]
exporters: [otlphttp/dynatrace]
logs:
receivers: [otlp]
processors: [memory_limiter, k8s_attributes, batch]
exporters: [otlphttp/dynatrace]
الأسطر الحرجة:
image.repository: تحتوي صورة contrib علىk8sattributesوcumulative_to_delta. وتنشر Dynatrace توزيعتها الخاصة من Collector أيضًا؛ تحقق في docs.dynatrace.com من الصورة والمكونات التي تتضمنها.presets.kubernetesAttributes: يضيف المخطط (chart) المعالج وينشئ ClusterRole الذي يتيح له قراءة الـ pods والـ namespaces وReplicaSets.cumulative_to_delta: يتوقع Dynatrace مقاييس OTLP بزمنية delta. التفاصيل في زمنية مقاييس OTLP.memory_limiterأولًا: فهو يحمي العقدة إن تباطأ Dynatrace.
في الإصدارات الحديثة من Collector contrib يسمى المعالج k8sattributes الآن k8s_attributes (ويصبح cumulativetodelta هو cumulative_to_delta)؛ وتبقى الأسماء القديمة مقبولة كأسماء بديلة مهجورة. والمخطط، الذي يعيد افتراضيًا كتابة هذه الأسماء القديمة (rewriteDeprecatedComponentNames)، يضع k8s_attributes بنفسه في الخطوط مع الإعداد المسبق (preset)؛ وكتابته صراحة، كما هنا، تجعل الترتيب مرئيًا. وإن أشار المخطط إلى تكرار في إصدارك فأزله من القائمة.
الخطوة 3: تثبيت المخطط
helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts
helm repo update
helm upgrade --install otel-node open-telemetry/opentelemetry-collector \
-n observability -f values.yaml
الخطوة 4: توجيه التطبيقات إلى Collector العقدة
يرسل كل pod تطبيقي بياناته إلى IP عقدته بفضل Downward API:
env:
- name: NODE_IP
valueFrom:
fieldRef:
fieldPath: status.hostIP
- name: OTEL_EXPORTER_OTLP_ENDPOINT
value: "http://$(NODE_IP):4318"
- name: OTEL_EXPORTER_OTLP_PROTOCOL
value: "http/protobuf"
بحسب إصدار المخطط، يُعرَض منفذ المضيف 4318 افتراضيًا في نمط DaemonSet؛ تحقق من قسم ports في قيمك. وإلا فاستخدم Service الذي ينشئه المخطط.
صيغة بديلة: OpenTelemetry Operator
يعلن Operator عن Collector بوصفه مورد Kubernetes. وتحتاج webhooks فيه إلى شهادة TLS: cert-manager افتراضيًا، أو شهادة موقّعة ذاتيًا يولّدها مخطط Helm (admissionWebhooks.autoGenerateCert). وبعد التثبيت (المخطط open-telemetry/opentelemetry-operator) يُكتب الإعداد نفسه هكذا:
apiVersion: opentelemetry.io/v1beta1
kind: OpenTelemetryCollector
metadata:
name: otel-node
namespace: observability
spec:
mode: daemonset
image: otel/opentelemetry-collector-contrib:latest
envFrom:
- secretRef:
name: dynatrace-otlp
config:
receivers:
otlp:
protocols:
grpc: {}
http: {}
processors:
k8s_attributes:
auth_type: serviceAccount
filter:
node_from_env_var: K8S_NODE_NAME
extract:
metadata:
- k8s.namespace.name
- k8s.pod.name
- k8s.deployment.name
- k8s.node.name
pod_association:
- sources:
- from: connection
batch: {}
exporters:
otlphttp/dynatrace:
endpoint: ${env:DT_ENDPOINT}
headers:
Authorization: "Api-Token ${env:DT_API_TOKEN}"
service:
pipelines:
traces:
receivers: [otlp]
processors: [k8s_attributes, batch]
exporters: [otlphttp/dynatrace]
هنا تتولى بنفسك ثلاثة أمور كان الإعداد المسبق في Helm يتكفل بها: المتغير K8S_NODE_NAME (يُحقن عبر Downward API بالحقل spec.nodeName)، وClusterRole وربطه بـ ServiceAccount الخاص بـ Collector. وفي الإنتاج ثبّت إصدارًا محددًا للصورة بدل latest.
كيف تتحقق من أن كل شيء يعمل
- تعمل pods الـ DaemonSet، واحد لكل عقدة:
kubectl -n observability get pods -o wide kubectl -n observability logs ds/otel-node-opentelemetry-collector | grep -iE "error|refused|401|403"يشير
401أو403إلى الرمز أو نطاقاته؛ ويشير خطأforbiddenعلى الـ pods إلى RBAC الخاص بـk8sattributes. - في SaaS افتح Notebook ونفّذ:
fetch spans, from: now() - 30m | filter isNotNull(k8s.pod.name) | summarize spans = count(), by: {k8s.namespace.name, k8s.deployment.name} | sort spans descإن لم يُعد الاستعلام شيئًا مع أن الـ spans موجودة، فسمات Kubernetes مفقودة: راجع
pod_association. - في Managed افتح عرض التتبعات الموزّعة، واختر تتبعًا وتحقق من ظهور السمات
k8s.*على المورد. وبحسب الإصدار يجب السماح ببعض السمات في إعدادات التقاط سمات OpenTelemetry: راجع وثائق إصدارك.
وإن لم يصل شيء إطلاقًا فاتبع منهجية تشخيص تتبعات OpenTelemetry الغائبة.
أفضل الممارسات
- ضع حدودًا للموارد على الـ DaemonSet (
resources.limits.memory) وطابِقmemory_limiterمعها. - استخرج الوسوم المفيدة فقط: فكل سمة تضيف حجمًا وكلفة استيعاب.
- افصل الأدوار: DaemonSet للإثراء، وبوابة Deployment لأخذ العيّنات (راجع tail sampling في OpenTelemetry).
- راقب Collector نفسه: مقاييسه الداخلية (طابور التصدير والرفض) هي أول SLI لخط المعالجة لديك.
- أصدِر values.yaml في نظام التحكم بالإصدارات وانشره عبر GitOps لتقليل الجهد المتكرر (toil).
الأسئلة الشائعة
هل أحتاج إلى Collector إن كان OneAgent منشورًا أصلًا؟
ليس بالضرورة. يستطيع OneAgent التقاط spans الخاصة بـ OpenTelemetry من بعض بيئات التشغيل. ويصبح Collector مفيدًا لأحمال بلا OneAgent، أو للتصفية والإثراء، أو لاستراتيجية OpenTelemetry بنسبة 100%.
DaemonSet أم sidecar؟
يستهلك DaemonSet موارد أقل ويُدار في مكان واحد. أما sidecar فيعزل كل تطبيق لكنه يضاعف عدد Collectors. ابدأ بـ DaemonSet.
هل تمر سجلات الحاويات عبر هذا Collector؟
فقط ما أُرسل منها بـ OTLP. ولقراءة ملفات سجلات الحاويات يلزم المستقبِل filelog (الإعداد المسبق logsCollection في المخطط)؛ وهذا موضوع مقال سجلات OpenTelemetry.
الخلاصة
يحوّل Collector الخاص بـ OpenTelemetry على Kubernetes في نمط DaemonSet، مع k8sattributes، الـ spans المجهولة إلى بيانات مرتبطة بـ pod ونشر وعقدة. فيصبح التشخيص أسرع وتُقسَّم SLO بحسب الخدمة. ابدأ بـ namespace للاختبار، وتحقق من استعلام DQL، ثم عمّم.
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تتطور أسماء الخيارات والمخططات: تحقق منها في الوثائق الرسمية لـ Dynatrace وOpenTelemetry.