Collector الخاص بـ OpenTelemetry على Kubernetes إلى Dynatrace: Helm وOperator وk8sattributes

Collector الخاص بـ OpenTelemetry على Kubernetes: انشره كـ DaemonSet بـ Helm أو Operator، وأثرِ البيانات بـ k8sattributes وصدّرها إلى Dynatrace.
Collector OpenTelemetry Kubernetes vers Dynatrace : Helm, Operator et k8sattributes

ترسل الـ pods لديك تتبعات OpenTelemetry، لكنها تصل إلى Dynatrace بلا اسم pod ولا namespace ولا عقدة. يستحيل ربط زمن استجابة بنشر (deployment) محدد، ويطول MTTR. ونشر Collector الخاص بـ OpenTelemetry على Kubernetes، مُثرًى بالمعالج k8sattributes، يعالج هذه المشكلة من جذرها.

هدف هذا الدرس التطبيقي: تثبيت Collector في العنقود (cluster) بـ Helm (أو بـ OpenTelemetry Operator)، وإضافة بيانات Kubernetes الوصفية إلى كل span ومقياس وسجل، ثم تصدير كل ذلك بـ OTLP إلى Dynatrace. ينطبق المحتوى على Dynatrace SaaS وDynatrace Managed؛ وعنوان الاستيعاب (URL) وحده يتغير.

إن كنت تكتشف Collector فابدأ بـ Collector الخاص بـ OpenTelemetry نحو Dynatrace، الذي يشرح خط receivers → processors → exporters خارج Kubernetes.

المتطلبات

  • عنقود Kubernetes بإصدار 1.26 أو أحدث، وأداة kubectl وHelm 3.
  • رمز API مميّز من Dynatrace بالنطاقات openTelemetryTrace.ingest وmetrics.ingest وlogs.ingest.
  • عنوان OTLP لبيئتك:
    • SaaS: https://<env-id>.live.dynatrace.com/api/v2/otlp؛
    • Managed: https://<votre-domaine>/e/<env-id>/api/v2/otlp (أو عبر ActiveGate للبيئة).
  • تطبيقات مقيسة أصلًا بـ SDK أو وكيل OpenTelemetry (مثل وكيل OpenTelemetry لـ Java).

أي نمط نشر تختار؟

  • DaemonSet: Collector واحد لكل عقدة. ترسل الـ pods بياناتها إلى Collector المحلي. وهو النمط الموصى به لـ k8sattributes لأن Collector لا يراقب إلا pods عقدته.
  • Deployment: مجموعة Collectors خلف Service. مفيد كبوابة مركزية، مثلًا لأخذ العيّنات.
  • Dynatrace Operator: يدير OneAgent وActiveGate. لا تخلطه بـ OpenTelemetry Operator الذي يدير Collectors والقياس التلقائي. ويمكن أن يتعايش الاثنان في العنقود نفسه.

يستخدم هذا الدرس DaemonSet. وإن كان OneAgent يعمل في العنقود أيضًا فاقرأ كيف تتجنب الـ spans المزدوجة قبل تفعيل الاثنين.

تثبيت Collector الخاص بـ OpenTelemetry على Kubernetes بـ Helm

الخطوة 1: إنشاء الـ namespace والسر

kubectl create namespace observability
kubectl -n observability create secret generic dynatrace-otlp \
  --from-literal=DT_ENDPOINT='https://<env-id>.live.dynatrace.com/api/v2/otlp' \
  --from-literal=DT_API_TOKEN='dt0c01.XXXX'

يبقى الرمز المميّز في Secret، لا في ملف القيم الخاضع للإصدارات.

الخطوة 2: كتابة ملف values.yaml

mode: daemonset

image:
  repository: otel/opentelemetry-collector-contrib
command:
  name: otelcol-contrib

presets:
  kubernetesAttributes:
    enabled: true          # ajoute k8sattributes + RBAC
    extractAllPodLabels: false

extraEnvsFrom:
  - secretRef:
      name: dynatrace-otlp

config:
  receivers:
    otlp:
      protocols:
        grpc:
          endpoint: ${env:MY_POD_IP}:4317
        http:
          endpoint: ${env:MY_POD_IP}:4318
  processors:
    memory_limiter:
      check_interval: 1s
      limit_percentage: 80
      spike_limit_percentage: 25
    cumulative_to_delta: {}
    batch:
      send_batch_size: 1000
      timeout: 5s
  exporters:
    otlphttp/dynatrace:
      endpoint: ${env:DT_ENDPOINT}
      headers:
        Authorization: "Api-Token ${env:DT_API_TOKEN}"
  service:
    pipelines:
      traces:
        receivers: [otlp]
        processors: [memory_limiter, k8s_attributes, batch]
        exporters: [otlphttp/dynatrace]
      metrics:
        receivers: [otlp]
        processors: [memory_limiter, k8s_attributes, cumulative_to_delta, batch]
        exporters: [otlphttp/dynatrace]
      logs:
        receivers: [otlp]
        processors: [memory_limiter, k8s_attributes, batch]
        exporters: [otlphttp/dynatrace]

الأسطر الحرجة:

  • image.repository: تحتوي صورة contrib على k8sattributes وcumulative_to_delta. وتنشر Dynatrace توزيعتها الخاصة من Collector أيضًا؛ تحقق في docs.dynatrace.com من الصورة والمكونات التي تتضمنها.
  • presets.kubernetesAttributes: يضيف المخطط (chart) المعالج وينشئ ClusterRole الذي يتيح له قراءة الـ pods والـ namespaces وReplicaSets.
  • cumulative_to_delta: يتوقع Dynatrace مقاييس OTLP بزمنية delta. التفاصيل في زمنية مقاييس OTLP.
  • memory_limiter أولًا: فهو يحمي العقدة إن تباطأ Dynatrace.

في الإصدارات الحديثة من Collector contrib يسمى المعالج k8sattributes الآن k8s_attributes (ويصبح cumulativetodelta هو cumulative_to_delta)؛ وتبقى الأسماء القديمة مقبولة كأسماء بديلة مهجورة. والمخطط، الذي يعيد افتراضيًا كتابة هذه الأسماء القديمة (rewriteDeprecatedComponentNames)، يضع k8s_attributes بنفسه في الخطوط مع الإعداد المسبق (preset)؛ وكتابته صراحة، كما هنا، تجعل الترتيب مرئيًا. وإن أشار المخطط إلى تكرار في إصدارك فأزله من القائمة.

الخطوة 3: تثبيت المخطط

helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts
helm repo update
helm upgrade --install otel-node open-telemetry/opentelemetry-collector \
  -n observability -f values.yaml

الخطوة 4: توجيه التطبيقات إلى Collector العقدة

يرسل كل pod تطبيقي بياناته إلى IP عقدته بفضل Downward API:

env:
  - name: NODE_IP
    valueFrom:
      fieldRef:
        fieldPath: status.hostIP
  - name: OTEL_EXPORTER_OTLP_ENDPOINT
    value: "http://$(NODE_IP):4318"
  - name: OTEL_EXPORTER_OTLP_PROTOCOL
    value: "http/protobuf"

بحسب إصدار المخطط، يُعرَض منفذ المضيف 4318 افتراضيًا في نمط DaemonSet؛ تحقق من قسم ports في قيمك. وإلا فاستخدم Service الذي ينشئه المخطط.

صيغة بديلة: OpenTelemetry Operator

يعلن Operator عن Collector بوصفه مورد Kubernetes. وتحتاج webhooks فيه إلى شهادة TLS: cert-manager افتراضيًا، أو شهادة موقّعة ذاتيًا يولّدها مخطط Helm (admissionWebhooks.autoGenerateCert). وبعد التثبيت (المخطط open-telemetry/opentelemetry-operator) يُكتب الإعداد نفسه هكذا:

apiVersion: opentelemetry.io/v1beta1
kind: OpenTelemetryCollector
metadata:
  name: otel-node
  namespace: observability
spec:
  mode: daemonset
  image: otel/opentelemetry-collector-contrib:latest
  envFrom:
    - secretRef:
        name: dynatrace-otlp
  config:
    receivers:
      otlp:
        protocols:
          grpc: {}
          http: {}
    processors:
      k8s_attributes:
        auth_type: serviceAccount
        filter:
          node_from_env_var: K8S_NODE_NAME
        extract:
          metadata:
            - k8s.namespace.name
            - k8s.pod.name
            - k8s.deployment.name
            - k8s.node.name
        pod_association:
          - sources:
              - from: connection
      batch: {}
    exporters:
      otlphttp/dynatrace:
        endpoint: ${env:DT_ENDPOINT}
        headers:
          Authorization: "Api-Token ${env:DT_API_TOKEN}"
    service:
      pipelines:
        traces:
          receivers: [otlp]
          processors: [k8s_attributes, batch]
          exporters: [otlphttp/dynatrace]

هنا تتولى بنفسك ثلاثة أمور كان الإعداد المسبق في Helm يتكفل بها: المتغير K8S_NODE_NAME (يُحقن عبر Downward API بالحقل spec.nodeName)، وClusterRole وربطه بـ ServiceAccount الخاص بـ Collector. وفي الإنتاج ثبّت إصدارًا محددًا للصورة بدل latest.

كيف تتحقق من أن كل شيء يعمل

  1. تعمل pods الـ DaemonSet، واحد لكل عقدة:
    kubectl -n observability get pods -o wide
    kubectl -n observability logs ds/otel-node-opentelemetry-collector | grep -iE "error|refused|401|403"

    يشير 401 أو 403 إلى الرمز أو نطاقاته؛ ويشير خطأ forbidden على الـ pods إلى RBAC الخاص بـ k8sattributes.

  2. في SaaS افتح Notebook ونفّذ:
    fetch spans, from: now() - 30m
    | filter isNotNull(k8s.pod.name)
    | summarize spans = count(), by: {k8s.namespace.name, k8s.deployment.name}
    | sort spans desc

    إن لم يُعد الاستعلام شيئًا مع أن الـ spans موجودة، فسمات Kubernetes مفقودة: راجع pod_association.

  3. في Managed افتح عرض التتبعات الموزّعة، واختر تتبعًا وتحقق من ظهور السمات k8s.* على المورد. وبحسب الإصدار يجب السماح ببعض السمات في إعدادات التقاط سمات OpenTelemetry: راجع وثائق إصدارك.

وإن لم يصل شيء إطلاقًا فاتبع منهجية تشخيص تتبعات OpenTelemetry الغائبة.

أفضل الممارسات

  • ضع حدودًا للموارد على الـ DaemonSet (resources.limits.memory) وطابِق memory_limiter معها.
  • استخرج الوسوم المفيدة فقط: فكل سمة تضيف حجمًا وكلفة استيعاب.
  • افصل الأدوار: DaemonSet للإثراء، وبوابة Deployment لأخذ العيّنات (راجع tail sampling في OpenTelemetry).
  • راقب Collector نفسه: مقاييسه الداخلية (طابور التصدير والرفض) هي أول SLI لخط المعالجة لديك.
  • أصدِر values.yaml في نظام التحكم بالإصدارات وانشره عبر GitOps لتقليل الجهد المتكرر (toil).

الأسئلة الشائعة

هل أحتاج إلى Collector إن كان OneAgent منشورًا أصلًا؟

ليس بالضرورة. يستطيع OneAgent التقاط spans الخاصة بـ OpenTelemetry من بعض بيئات التشغيل. ويصبح Collector مفيدًا لأحمال بلا OneAgent، أو للتصفية والإثراء، أو لاستراتيجية OpenTelemetry بنسبة 100%.

DaemonSet أم sidecar؟

يستهلك DaemonSet موارد أقل ويُدار في مكان واحد. أما sidecar فيعزل كل تطبيق لكنه يضاعف عدد Collectors. ابدأ بـ DaemonSet.

هل تمر سجلات الحاويات عبر هذا Collector؟

فقط ما أُرسل منها بـ OTLP. ولقراءة ملفات سجلات الحاويات يلزم المستقبِل filelog (الإعداد المسبق logsCollection في المخطط)؛ وهذا موضوع مقال سجلات OpenTelemetry.

الخلاصة

يحوّل Collector الخاص بـ OpenTelemetry على Kubernetes في نمط DaemonSet، مع k8sattributes، الـ spans المجهولة إلى بيانات مرتبطة بـ pod ونشر وعقدة. فيصبح التشخيص أسرع وتُقسَّم SLO بحسب الخدمة. ابدأ بـ namespace للاختبار، وتحقق من استعلام DQL، ثم عمّم.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تتطور أسماء الخيارات والمخططات: تحقق منها في الوثائق الرسمية لـ Dynatrace وOpenTelemetry.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Temporalité métriques OTLP vers Dynatrace : delta ou cumulative, l'erreur qui fait disparaître vos compteurs

زمنية مقاييس OTLP إلى Dynatrace: delta أم cumulative، الخطأ الذي يُخفي عدّاداتك

Next Post
Logs OpenTelemetry : Dynatrace et la corrélation logs-traces par trace_id

سجلات OpenTelemetry في Dynatrace: الربط بين السجلات والتتبعات عبر trace_id

Related Posts