يخزّن Grafana Tempo التتبعات الموزّعة (traces) لديك، بينما توفّر حزمة kube-prometheus-stack مسبقًا Prometheus وGrafana على العنقود (cluster). يكمّل كل منهما الآخر: يحتفظ Tempo بالتتبعات، ويحتفظ Prometheus بالمقاييس المستخرجة منها، ويربطهما Grafana في واجهة واحدة. يثبّت هذا الدليل Grafana Tempo إلى جانب kube-prometheus-stack، ويفعّل metrics-generator، ويضبط مصدر بيانات Tempo في Grafana.
بالنسبة لفريق SRE، الفائدة عملية. عندما يتدهور SLO، تنطلق من مقياس RED في Prometheus ثم تنتقل إلى التتبع الذي يفسّر السبب. الطريق أقصر، وكذلك MTTR. يكمّل هذا الدليل مقارنتنا بين Dynatrace وGrafana بتطبيق عملي لجزء «التتبعات» في حزمة Grafana.
يتناول هذا المحتوى حزمة Grafana وPrometheus مفتوحة المصدر. ولا يعتمد على Dynatrace SaaS ولا على Dynatrace Managed.
باختصار
- يستقبل Grafana Tempo التتبعات عبر OTLP (المنفذان 4317 لـ gRPC و4318 لـ HTTP في المخطط) ويخزّنها.
- ينتج metrics-generator فيه مقاييس من الـ spans ويرسلها إلى Prometheus عبر
remote_write. - في kube-prometheus-stack يكفي إعدادان:
enableRemoteWriteReceiverواكتشاف ServiceMonitors. - في Grafana يشير مصدر Tempo إلى Prometheus عبر
serviceMapوtracesToMetrics.
المتطلبات والإصدارات
قُرئت القيم أدناه من ملفات المخططات (charts) وقت الكتابة (31 أكتوبر 2026). وهي تتغير بسرعة: راجع ملف values.yaml للإصدار الذي تثبّته.
- عنقود Kubernetes وأداة Helm 3. يذكر مخطط kube-prometheus-stack الإصدار 92.16.1 (appVersion v0.94.2) و
kubeVersion >=1.25.0-0. - مخطط
tempo(الوضع المتكامل، «single binary»)، المنشور في المستودعgrafana-community/helm-charts، الإصدار 3.2.1 لـ Tempo 3.1.1. ويتطلب Kubernetes ^1.25.0-0. - مساحة أسماء
monitoringلجميع المكوّنات. عدّل العناوين إذا استخدمت غيرها.
وفق وثائق Tempo يوجد مخططان: tempo-distributed (خدمات مصغّرة) وtempo (متكامل). يعتمد هذا الدرس الثاني لأنه أبسط في أول نشر. لاحظ أيضًا أن مخطط tempo-distributed القديم في مستودع grafana/helm-charts موسوم deprecated: true: المخططات الحالية تأتي من grafana-community.
البنية: مسار التتبع حتى Grafana
يتألف التدفق من خمس مراحل. يرسل التطبيق (أو Collector من OpenTelemetry) الـ spans إلى Tempo عبر OTLP. يخزّنها Tempo. ثم يحسب metrics-generator فيه مقاييس service graph ومقاييس span metrics ويدفعها إلى Prometheus. ويستعلم Grafana من Tempo عن التتبعات ومن Prometheus عن المقاييس.
يضاف هذا المخطط إلى Collector قائم. يوضح دليلنا حول Collector في OpenTelemetry على Kubernetes كيفية نشر هذا المكوّن؛ يكفي أن تضيف إليه Tempo وجهةً OTLP.
الخطوة 1: تهيئة kube-prometheus-stack لاستقبال remote write
افتراضيًا لا يقبل Prometheus الكتابة عن بُعد. يوثّق ملف values.yaml في المخطط هذا الإعداد: الخيار prometheus.prometheusSpec.enableRemoteWriteReceiver يفعّل الخيار --web.enable-remote-write-receiver في الخادم. نقطة مهمة أخرى: ما دام serviceMonitorSelectorNilUsesHelmValues على true، لا يكتشف Prometheus إلا ServiceMonitors التي تحمل وسم الإصدار (release). يوصي README الخاص بالمخطط بضبطه على false لاكتشافها جميعًا.

هذا ملف القيم الكامل. يُعرَّف مصدر Tempo في grafana.additionalDataSources كما يتيح المخطط.
# kps-values.yaml
prometheus:
prometheusSpec:
enableRemoteWriteReceiver: true
serviceMonitorSelectorNilUsesHelmValues: false
grafana:
additionalDataSources:
- name: Tempo
uid: tempo
type: tempo
access: proxy
url: http://tempo.monitoring:3200
jsonData:
serviceMap:
datasourceUid: prometheus
nodeGraph:
enabled: true
tracesToMetrics:
datasourceUid: prometheus
tags:
- key: service.name
value: service
queries:
- name: Latence p95
query: histogram_quantile(0.95, sum(rate(traces_spanmetrics_latency_bucket{$$__tags}[5m])) by (le))
المعرّف prometheus (UID) هو ما يمنحه المخطط لمصدر Prometheus الافتراضي. والمنفذ 3200 هو منفذ HTTP الافتراضي لـ Tempo وفق وثائق Grafana. أما المفاتيح serviceMap وnodeGraph وtracesToMetrics فتتبع مثال provisioning في الوثائق.

ثبّت الحزمة:
helm install kube-prometheus-stack \
oci://ghcr.io/prometheus-community/charts/kube-prometheus-stack \
-n monitoring --create-namespace -f kps-values.yaml
الخطوة 2: تثبيت Grafana Tempo مع metrics-generator
في مخطط tempo يكون metrics-generator معطّلًا افتراضيًا (enabled: false). تُستخدم القيمة remoteWriteUrl نقطةَ كتابة عندما يكون storage.remote_write فارغًا. وتوضح وثائق Tempo أن المعالجات (processors) معطّلة افتراضيًا: يجب تفعيلها في overrides.

# tempo-values.yaml
tempo:
metricsGenerator:
enabled: true
remoteWriteUrl: "http://kube-prometheus-stack-prometheus.monitoring:9090/api/v1/write"
overrides:
defaults:
metrics_generator:
processors:
- service-graphs
- span-metrics
serviceMonitor:
enabled: true
ثلاث ملاحظات على هذا الملف.
service-graphsوspan-metricsهما اسما المعالجين في وثائق Tempo. الأول ينتج مقاييس رسم الخدمات، والثاني مقاييس RED.- الخيار
serviceMonitor.enabledموجود في المخطط. يتيح لـ Prometheus جمع مقاييس Tempo نفسه، بشرط أن تكون الخطوة 1 قد رفعت تصفية الوسوم. - اسم Service الخاص بـ Prometheus (
kube-prometheus-stack-prometheus) يتبع الاصطلاح<release>-prometheusالذي يستخدمه المخطط في مثاله. تأكد منه بالأمرkubectl -n monitoring get svc.
helm install tempo \
oci://ghcr.io/grafana-community/helm-charts/tempo \
-n monitoring -f tempo-values.yaml
اسم الإصدار (release) هو tempo: فيسمّي قالب المخطط الـ Service باسم tempo، وهذا يطابق عنوان مصدر البيانات في الخطوة 1.
الخطوة 3: إرسال التتبعات إلى Tempo
يفتح المخطط مستقبِلات OTLP على 0.0.0.0:4317 (gRPC) و0.0.0.0:4318 (HTTP). لذلك يحتاج Collector فقط إلى مصدِّر OTLP باتجاه tempo.monitoring:4317. وللتجربة الأولى تقترح وثائق Tempo استخدام telemetrygen من OpenTelemetry أو التطبيق النموذجي «Intro to MLTP».
exporters:
otlp/tempo:
endpoint: tempo.monitoring:4317
tls:
insecure: true
هنا يناسب insecure: true اختبارًا داخل العنقود. أما في الإنتاج ففعّل TLS. ولتجنّب تخزين كل التتبعات راجع أيضًا مقالنا حول tail sampling مع OpenTelemetry.
كيف تتحقق من أن كل شيء يعمل
- تحقق من الـ pods: يجب أن يُظهر الأمر
kubectl -n monitoring get podsكلًّا من Tempo وPrometheus وGrafana في حالةRunning. - في Grafana افتح Connections ثم Data sources ثم Tempo، وانقر «Save & test». تذكر الوثائق أن النجاح يعرض «Data source is working».
- في Explore اختر Tempo وابحث عن تتبع أُرسل في الخطوة 3.
- في Explore مع مصدر Prometheus استعلم عن
traces_spanmetrics_calls_totalوtraces_service_graph_request_total. إذا وُجدت هذه السلاسل فإن remote write يعمل.
أسماء المقاييس مأخوذة من وثائق Tempo: traces_spanmetrics_latency (مخطط تكراري) وtraces_spanmetrics_calls_total وtraces_spanmetrics_size_total لمقاييس span، مع الوسوم service وspan_name وspan_kind وstatus_code. وبالنسبة لرسوم الخدمات تذكر الوثائق نفسها، من بين غيرها، traces_service_graph_request_total وtraces_service_graph_request_failed_total.
أفضل الممارسات
- راقب الكاردينالية (cardinality). تحذّر الوثائق من أن زيادة الأبعاد المفعّلة تعني زيادة الكاردينالية. ولهذا السبب يكون الوسم
status_messageمعطّلًا افتراضيًا. - احفظ البيانات. يعلن المخطط
persistence.enabled: falseافتراضيًا، والاحتفاظ الافتراضي (retention) هو 24 ساعة. عدّل الاثنين وفق احتياجاتك. - راجع الاحتفاظ قبل التحديث. يصف README الخاص بالمخطط إصلاحًا لتطبيق الاحتفاظ في الإصدار 3.2.0.
- أبقِ مسار مقاييس واحدًا. إذا كان Collector لديك يولّد مقاييس span بالفعل فتجنّب إنتاجها مرتين. يساعد مقالنا OpenTelemetry وPrometheus على توزيع الأدوار.
- اختبر قبل الإنتاج. القيم الافتراضية (التخزين في
/tmp/tempo) مخصصة للتجربة وليس للتشغيل.
الأسئلة الشائعة
هل أحتاج إلى مخطط tempo أم tempo-distributed؟
ينشر مخطط tempo برنامج Tempo في ملف تنفيذي واحد، وهذا يناسب الأحجام المتواضعة. أما مخطط tempo-distributed فينشر الخدمات المصغّرة للتوسع. وتعرض وثائق Tempo الاثنين دون أن توصي بواحد فقط.
لماذا يرفض Prometheus الكتابات القادمة من metrics-generator؟
في الغالب بقي enableRemoteWriteReceiver على false، وهي قيمته الافتراضية في المخطط. تحقق أيضًا من العنوان remoteWriteUrl ومن سجلات Tempo.
هل يمكن استخدام Tempo إلى جانب Dynatrace؟
يفصل OpenTelemetry بين إنتاج التتبعات ووجهتها. لذلك يمكن لـ Collector نظريًا التوجيه إلى عدة مصدِّرات OTLP. لا يُفصَّل هذا الإعداد المزدوج هنا، ويتطلب اختبارًا في بيئتك. وبالنسبة لـ Dynatrace راجع دليلنا حول Prometheus وDynatrace.
الخلاصة
بملفَّي قيم يلتحق Grafana Tempo بـ kube-prometheus-stack: تذهب التتبعات إلى Tempo، وتذهب مقاييس RED ورسوم الخدمات إلى Prometheus، ويربط Grafana بين الاثنين. وبعدها وسّع الحزمة بتنبيهات على مقاييس span وبـ SLO.
المصادر
- مخطط kube-prometheus-stack (README وvalues.yaml وChart.yaml)
- مخطط tempo، مستودع grafana-community/helm-charts
- Tempo: النشر باستخدام Helm، وثائق Grafana
- Metrics-generator، وثائق Tempo
- Provision the Tempo data source، وثائق Grafana
span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC ولا لشركة Grafana Labs. Dynatrace علامة تجارية لشركة Dynatrace LLC. أسماء المنتجات المذكورة تعود إلى مالكيها؛ والإصدارات والقيم هي ما قُرئ في الوثائق والمخططات في التاريخ المذكور، والعناوين المستخدمة أمثلة وهمية. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.