Grafana Tempo مع kube-prometheus-stack: التتبعات والمقاييس

Grafana Tempo مع kube-prometheus-stack: ثبّت Tempo وفعّل metrics-generator واربط التتبعات بمقاييس RED في Grafana خطوة بخطوة.
Grafana Tempo avec kube-prometheus-stack : traces et métriques

يخزّن Grafana Tempo التتبعات الموزّعة (traces) لديك، بينما توفّر حزمة kube-prometheus-stack مسبقًا Prometheus وGrafana على العنقود (cluster). يكمّل كل منهما الآخر: يحتفظ Tempo بالتتبعات، ويحتفظ Prometheus بالمقاييس المستخرجة منها، ويربطهما Grafana في واجهة واحدة. يثبّت هذا الدليل Grafana Tempo إلى جانب kube-prometheus-stack، ويفعّل metrics-generator، ويضبط مصدر بيانات Tempo في Grafana.

بالنسبة لفريق SRE، الفائدة عملية. عندما يتدهور SLO، تنطلق من مقياس RED في Prometheus ثم تنتقل إلى التتبع الذي يفسّر السبب. الطريق أقصر، وكذلك MTTR. يكمّل هذا الدليل مقارنتنا بين Dynatrace وGrafana بتطبيق عملي لجزء «التتبعات» في حزمة Grafana.

يتناول هذا المحتوى حزمة Grafana وPrometheus مفتوحة المصدر. ولا يعتمد على Dynatrace SaaS ولا على Dynatrace Managed.

باختصار

  • يستقبل Grafana Tempo التتبعات عبر OTLP (المنفذان 4317 لـ gRPC و4318 لـ HTTP في المخطط) ويخزّنها.
  • ينتج metrics-generator فيه مقاييس من الـ spans ويرسلها إلى Prometheus عبر remote_write.
  • في kube-prometheus-stack يكفي إعدادان: enableRemoteWriteReceiver واكتشاف ServiceMonitors.
  • في Grafana يشير مصدر Tempo إلى Prometheus عبر serviceMap وtracesToMetrics.

المتطلبات والإصدارات

قُرئت القيم أدناه من ملفات المخططات (charts) وقت الكتابة (31 أكتوبر 2026). وهي تتغير بسرعة: راجع ملف values.yaml للإصدار الذي تثبّته.

  • عنقود Kubernetes وأداة Helm 3. يذكر مخطط kube-prometheus-stack الإصدار 92.16.1 (appVersion v0.94.2) وkubeVersion >=1.25.0-0.
  • مخطط tempo (الوضع المتكامل، «single binary»)، المنشور في المستودع grafana-community/helm-charts، الإصدار 3.2.1 لـ Tempo 3.1.1. ويتطلب Kubernetes ^1.25.0-0.
  • مساحة أسماء monitoring لجميع المكوّنات. عدّل العناوين إذا استخدمت غيرها.

وفق وثائق Tempo يوجد مخططان: tempo-distributed (خدمات مصغّرة) وtempo (متكامل). يعتمد هذا الدرس الثاني لأنه أبسط في أول نشر. لاحظ أيضًا أن مخطط tempo-distributed القديم في مستودع grafana/helm-charts موسوم deprecated: true: المخططات الحالية تأتي من grafana-community.

البنية: مسار التتبع حتى Grafana

يتألف التدفق من خمس مراحل. يرسل التطبيق (أو Collector من OpenTelemetry) الـ spans إلى Tempo عبر OTLP. يخزّنها Tempo. ثم يحسب metrics-generator فيه مقاييس service graph ومقاييس span metrics ويدفعها إلى Prometheus. ويستعلم Grafana من Tempo عن التتبعات ومن Prometheus عن المقاييس.

يضاف هذا المخطط إلى Collector قائم. يوضح دليلنا حول Collector في OpenTelemetry على Kubernetes كيفية نشر هذا المكوّن؛ يكفي أن تضيف إليه Tempo وجهةً OTLP.

الخطوة 1: تهيئة kube-prometheus-stack لاستقبال remote write

افتراضيًا لا يقبل Prometheus الكتابة عن بُعد. يوثّق ملف values.yaml في المخطط هذا الإعداد: الخيار prometheus.prometheusSpec.enableRemoteWriteReceiver يفعّل الخيار --web.enable-remote-write-receiver في الخادم. نقطة مهمة أخرى: ما دام serviceMonitorSelectorNilUsesHelmValues على true، لا يكتشف Prometheus إلا ServiceMonitors التي تحمل وسم الإصدار (release). يوصي README الخاص بالمخطط بضبطه على false لاكتشافها جميعًا.

مقتطف من values.yaml في kube-prometheus-stack: enableRemoteWriteReceiver على false وserviceMonitorSelectorNilUsesHelmValues على true ومثال معلَّق لـ grafana.additionalDataSources

هذا ملف القيم الكامل. يُعرَّف مصدر Tempo في grafana.additionalDataSources كما يتيح المخطط.

# kps-values.yaml
prometheus:
  prometheusSpec:
    enableRemoteWriteReceiver: true
    serviceMonitorSelectorNilUsesHelmValues: false

grafana:
  additionalDataSources:
    - name: Tempo
      uid: tempo
      type: tempo
      access: proxy
      url: http://tempo.monitoring:3200
      jsonData:
        serviceMap:
          datasourceUid: prometheus
        nodeGraph:
          enabled: true
        tracesToMetrics:
          datasourceUid: prometheus
          tags:
            - key: service.name
              value: service
          queries:
            - name: Latence p95
              query: histogram_quantile(0.95, sum(rate(traces_spanmetrics_latency_bucket{$$__tags}[5m])) by (le))

المعرّف prometheus (UID) هو ما يمنحه المخطط لمصدر Prometheus الافتراضي. والمنفذ 3200 هو منفذ HTTP الافتراضي لـ Tempo وفق وثائق Grafana. أما المفاتيح serviceMap وnodeGraph وtracesToMetrics فتتبع مثال provisioning في الوثائق.

Grafana Tempo: مثال provisioning لمصدر بيانات Tempo مع tracesToMetrics وserviceMap وnodeGraph، مقتطف من وثائق Grafana

ثبّت الحزمة:

helm install kube-prometheus-stack \
  oci://ghcr.io/prometheus-community/charts/kube-prometheus-stack \
  -n monitoring --create-namespace -f kps-values.yaml

الخطوة 2: تثبيت Grafana Tempo مع metrics-generator

في مخطط tempo يكون metrics-generator معطّلًا افتراضيًا (enabled: false). تُستخدم القيمة remoteWriteUrl نقطةَ كتابة عندما يكون storage.remote_write فارغًا. وتوضح وثائق Tempo أن المعالجات (processors) معطّلة افتراضيًا: يجب تفعيلها في overrides.

مقتطف من values.yaml في مخطط tempo: كتلة metricsGenerator مع enabled وremoteWriteUrl وprocessor وregistry وstorage.remote_write
# tempo-values.yaml
tempo:
  metricsGenerator:
    enabled: true
    remoteWriteUrl: "http://kube-prometheus-stack-prometheus.monitoring:9090/api/v1/write"
  overrides:
    defaults:
      metrics_generator:
        processors:
          - service-graphs
          - span-metrics

serviceMonitor:
  enabled: true

ثلاث ملاحظات على هذا الملف.

  • service-graphs وspan-metrics هما اسما المعالجين في وثائق Tempo. الأول ينتج مقاييس رسم الخدمات، والثاني مقاييس RED.
  • الخيار serviceMonitor.enabled موجود في المخطط. يتيح لـ Prometheus جمع مقاييس Tempo نفسه، بشرط أن تكون الخطوة 1 قد رفعت تصفية الوسوم.
  • اسم Service الخاص بـ Prometheus (kube-prometheus-stack-prometheus) يتبع الاصطلاح <release>-prometheus الذي يستخدمه المخطط في مثاله. تأكد منه بالأمر kubectl -n monitoring get svc.
helm install tempo \
  oci://ghcr.io/grafana-community/helm-charts/tempo \
  -n monitoring -f tempo-values.yaml

اسم الإصدار (release) هو tempo: فيسمّي قالب المخطط الـ Service باسم tempo، وهذا يطابق عنوان مصدر البيانات في الخطوة 1.

الخطوة 3: إرسال التتبعات إلى Tempo

يفتح المخطط مستقبِلات OTLP على 0.0.0.0:4317 (gRPC) و0.0.0.0:4318 (HTTP). لذلك يحتاج Collector فقط إلى مصدِّر OTLP باتجاه tempo.monitoring:4317. وللتجربة الأولى تقترح وثائق Tempo استخدام telemetrygen من OpenTelemetry أو التطبيق النموذجي «Intro to MLTP».

exporters:
  otlp/tempo:
    endpoint: tempo.monitoring:4317
    tls:
      insecure: true

هنا يناسب insecure: true اختبارًا داخل العنقود. أما في الإنتاج ففعّل TLS. ولتجنّب تخزين كل التتبعات راجع أيضًا مقالنا حول tail sampling مع OpenTelemetry.

كيف تتحقق من أن كل شيء يعمل

  1. تحقق من الـ pods: يجب أن يُظهر الأمر kubectl -n monitoring get pods كلًّا من Tempo وPrometheus وGrafana في حالة Running.
  2. في Grafana افتح Connections ثم Data sources ثم Tempo، وانقر «Save & test». تذكر الوثائق أن النجاح يعرض «Data source is working».
  3. في Explore اختر Tempo وابحث عن تتبع أُرسل في الخطوة 3.
  4. في Explore مع مصدر Prometheus استعلم عن traces_spanmetrics_calls_total وtraces_service_graph_request_total. إذا وُجدت هذه السلاسل فإن remote write يعمل.

أسماء المقاييس مأخوذة من وثائق Tempo: traces_spanmetrics_latency (مخطط تكراري) وtraces_spanmetrics_calls_total وtraces_spanmetrics_size_total لمقاييس span، مع الوسوم service وspan_name وspan_kind وstatus_code. وبالنسبة لرسوم الخدمات تذكر الوثائق نفسها، من بين غيرها، traces_service_graph_request_total وtraces_service_graph_request_failed_total.

أفضل الممارسات

  • راقب الكاردينالية (cardinality). تحذّر الوثائق من أن زيادة الأبعاد المفعّلة تعني زيادة الكاردينالية. ولهذا السبب يكون الوسم status_message معطّلًا افتراضيًا.
  • احفظ البيانات. يعلن المخطط persistence.enabled: false افتراضيًا، والاحتفاظ الافتراضي (retention) هو 24 ساعة. عدّل الاثنين وفق احتياجاتك.
  • راجع الاحتفاظ قبل التحديث. يصف README الخاص بالمخطط إصلاحًا لتطبيق الاحتفاظ في الإصدار 3.2.0.
  • أبقِ مسار مقاييس واحدًا. إذا كان Collector لديك يولّد مقاييس span بالفعل فتجنّب إنتاجها مرتين. يساعد مقالنا OpenTelemetry وPrometheus على توزيع الأدوار.
  • اختبر قبل الإنتاج. القيم الافتراضية (التخزين في /tmp/tempo) مخصصة للتجربة وليس للتشغيل.

الأسئلة الشائعة

هل أحتاج إلى مخطط tempo أم tempo-distributed؟

ينشر مخطط tempo برنامج Tempo في ملف تنفيذي واحد، وهذا يناسب الأحجام المتواضعة. أما مخطط tempo-distributed فينشر الخدمات المصغّرة للتوسع. وتعرض وثائق Tempo الاثنين دون أن توصي بواحد فقط.

لماذا يرفض Prometheus الكتابات القادمة من metrics-generator؟

في الغالب بقي enableRemoteWriteReceiver على false، وهي قيمته الافتراضية في المخطط. تحقق أيضًا من العنوان remoteWriteUrl ومن سجلات Tempo.

هل يمكن استخدام Tempo إلى جانب Dynatrace؟

يفصل OpenTelemetry بين إنتاج التتبعات ووجهتها. لذلك يمكن لـ Collector نظريًا التوجيه إلى عدة مصدِّرات OTLP. لا يُفصَّل هذا الإعداد المزدوج هنا، ويتطلب اختبارًا في بيئتك. وبالنسبة لـ Dynatrace راجع دليلنا حول Prometheus وDynatrace.

الخلاصة

بملفَّي قيم يلتحق Grafana Tempo بـ kube-prometheus-stack: تذهب التتبعات إلى Tempo، وتذهب مقاييس RED ورسوم الخدمات إلى Prometheus، ويربط Grafana بين الاثنين. وبعدها وسّع الحزمة بتنبيهات على مقاييس span وبـ SLO.

المصادر

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا لشركة Grafana Labs. Dynatrace علامة تجارية لشركة Dynatrace LLC. أسماء المنتجات المذكورة تعود إلى مالكيها؛ والإصدارات والقيم هي ما قُرئ في الوثائق والمخططات في التاريخ المذكور، والعناوين المستخدمة أمثلة وهمية. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Pipeline OpenPipeline : créer un pipeline de logs et le router

pipeline OpenPipeline: إنشاء pipeline للسجلات وتوجيه السجلات إليه

Next Post
Échecs silencieux des agents IA : détecter une réponse fausse

الإخفاقات الصامتة لوكلاء الذكاء الاصطناعي: اكتشاف إجابة خاطئة

Related Posts