DQL المتقدم: lookup وjoin وparse والدوال المتحركة

DQL المتقدم: أثرِ البيانات بـ lookup، واربط المصادر بـ join، وهيكل السجلات بـ parse، ونعّم السلاسل الزمنية بالدوال المتحركة في Grail.
DQL avancé : lookup, join, parse et fonctions de fenêtre

أثناء الحوادث التشغيلية، لا يكون الاستعلام الذي يجيب عن السؤال مجرد fetch | filter | summarize. عليك أن تربط الخطأ بالفريق المالك، وأن تصل حدثًا تجاريًا بسجلات التتبع نفسه، وأن تستخرج معرّفًا مدفونًا داخل رسالة، أو أن تنعّم سلسلة مضطربة لترى الاتجاه. هذا هو ميدان DQL المتقدم.

أربع أدوات تغطي الأساسي: lookup للإثراء، وjoin للربط، وparse للهيكلة، والدوال المتحركة على المصفوفات للتفكير عبر الزمن. وإذا أتقنتها قلّ زمن الاستعادة (MTTR): تنقّل أقل بين الشاشات، واستعلام واحد مشترك في Notebook الحادثة.

هدف هذا الدرس أن تكتب لكل أداة استعلامًا مفيدًا في التشغيل وأن تعرف كيف تتحقق من نتيجته. المحتوى صالح لـ Dynatrace SaaS (Grail وDQL)؛ أما Dynatrace Managed فلا ينفّذ DQL على Grail.

المتطلبات

  • بيئة Dynatrace SaaS مع Grail، وإمكانية الوصول إلى Notebooks.
  • أساسيات DQL: fetch وfilter وfields وsummarize (انظر وحدة أساسيات DQL).
  • سجلات (logs) وspans مستوعَبة، ويفضّل أن يكون الحقل trace_id معبّأً في السجلات.

lookup أم join: ما الفرق؟

lookup join
الاستخدام إثراء كل سطر بسمات من جدول مرجعي دمج مجموعتي بيانات وفق شرط
التطابقات المتعددة يُحتفظ بأول سجل مطابق فقط سطر لكل زوج مطابق: قد يزيد الحجم
البادئة الافتراضية للحقول المضافة lookup. right.
الأسطر دون تطابق تبقى، وتكون الحقول المضافة null بحسب kind: ‏inner أو leftOuter أو outer

قاعدة بسيطة: إذا أردت «عمودًا إضافيًا» فاستخدم lookup. وإذا أردت «وضع روايتين جنبًا إلى جنب» فاستخدم join.

DQL المتقدم عمليًا: أربعة استعلامات خطوة بخطوة

الخطوة 1: الإثراء باستخدام lookup

جدول مرجعي مخزَّن في Grail (ملف lookup يُحمَّل بالأمر load) يترجم رمزًا تقنيًا إلى معلومة مقروءة. مثال: إضافة وصف كل رمز HTTP إلى الـ spans.

fetch spans, from:now()-1h
| filter isNotNull(http.response.status_code)
| lookup [ load "/lookups/http_status_codes" ],
    sourceField: http.response.status_code,
    lookupField: code,
    prefix: "status."
| summarize nb = count(), by:{ http.response.status_code, status.label }
| sort nb desc

الأسطر الأساسية: يحدد sourceField حقل الاستعلام الرئيسي، ويحدد lookupField حقل الجدول. وتتفادى prefix تعارض الأسماء؛ فبدونها تصل الحقول مسبوقة بـ lookup.. هنا يفترض status.label أن ملفك يحتوي عمودًا اسمه label: عدّل بما يوافق المحتوى الفعلي.

يمكن أن يكون الجدول أيضًا استعلامًا فرعيًا. لإلحاق عدد الأحداث التجارية الصادرة بكل مضيف (host):

fetch dt.entity.host
| fields id, entity.name
| lookup [ fetch bizevents
          | summarize events = count(), by:{ dt.entity.host } ],
    sourceField: id, lookupField: dt.entity.host, prefix: "biz."

الخطوة 2: الربط باستخدام join

فشل حدث تجاري؛ فماذا قالت سجلات التتبع نفسه؟ يربط join المصدرين على trace_id:

fetch bizevents, from:now()-2h
| filter event.type == "checkout.failed"
| limit 100
| join [ fetch logs, from:now()-2h | filter loglevel == "ERROR" ],
    kind: leftOuter,
    on: { trace_id },
    executionOrder: leftFirst,
    fields: { log.timestamp = timestamp, content }
| fields timestamp, trace_id, log.timestamp, content

الأسطر الأساسية: يُبقي kind: leftOuter الأحداث التي لا سجل يطابقها (حقولها null)، وهذا يكشف أيضًا ثغرات القياس البرمجي (instrumentation). ويشغّل executionOrder: leftFirst الجانب الأيسر أولًا، محدودًا بـ 100 سطر، فلا يُتجاوز حد الحجم في الجانب الأيمن. ولا يجلب fields سوى الأعمدة المفيدة. وعندما تختلف الأسماء اكتب on: left[dt.entity.host] == right[id].

الخطوة 3: الهيكلة باستخدام parse

سجل التطبيق يحوي المعلومة لكن داخل جملة. يطبّق parse نمط DPL (Dynatrace Pattern Language) وينشئ حقولًا محددة النوع:

fetch logs, from:now()-3h
| filter contains(content, "AddItemAsync")
| parse content, "LD 'userId=' LD:userId ', productId=' LD:productId ', quantity=' INT:productQuantity"
| summarize total = sum(productQuantity), by:{ productId }
| sort total desc
| limit 10

الأسطر الأساسية: يستهلك LD نصًا حتى الحرفية التالية، ويلتقط INT عددًا صحيحًا محدد النوع، ويصبح الاسم بعد : هو الحقل. وفي سجل JSON يستخرج المطابِق JSON المفاتيح المطلوبة مباشرة:

| parse content, "JSON{ STRING:path, INT:integrationLatency }(flat=true)"

إذا تكرر نمط في كل استعلاماتك فانقله إلى مرحلة الاستيعاب في OpenPipeline: تدفع كلفته مرة واحدة بدل إعادة حسابه عند كل قراءة. وتساعدك تحليل أنماط السجلات على إيجاد هذه الأنماط المتكررة.

الخطوة 4: التفكير عبر الزمن بالدوال المتحركة

لا يملك DQL عبارة OVER كما في SQL. المكافئ يمر عبر السلاسل الزمنية: ينتج timeseries أو makeTimeseries مصفوفات، وتحسب الدوال arrayMovingAvg وarrayMovingMax وarrayMovingMin وarrayMovingSum وarrayDelta وarrayCumulativeSum نافذة على هذه المصفوفات.

timeseries cpu = avg(dt.host.cpu.usage), interval:1m, by:{ dt.entity.host }
| fieldsAdd cpu_5m = arrayMovingAvg(cpu, 5)
| fieldsAdd pic_5m = arrayMovingMax(cpu, 5)

مع فاصل زمني قدره دقيقة، تعطي نافذة من 5 عناصر متوسطًا متحركًا على خمس دقائق. النافذة مقدَّرة بعدد النقاط لا بالمدة، وحدها الأقصى 60. والنقاط الأولى ليس لها تاريخ كامل: وسّع from: كي لا تفسّرها.

المبدأ نفسه على السجلات، عبر makeTimeseries:

fetch logs, from:now()-6h
| filter loglevel == "ERROR"
| makeTimeseries erreurs = count(), interval:5m
| fieldsAdd tendance = arrayMovingAvg(erreurs, 6),
            variation = arrayDelta(erreurs)

كيف تتحقق من أن النتيجة صحيحة

  • lookup: عدّ الأسطر قبل العملية وبعدها؛ يجب أن يتطابق العددان. ثم صفِّ بـ isNull(status.label) لسرد الرموز الغائبة عن الجدول.
  • join: قارن count() قبل العملية وبعدها. الارتفاع الكبير يدل على تطابقات متعددة، والقيمة الفارغة في content تدل على سجلات بلا trace_id (انظر استعلامات DQL للتشغيل لمزيد من الفحوص).
  • parse: أضف | filter isNull(productId) | limit 20 لترى الأسطر التي لا يتعرف عليها النمط.
  • الدوال المتحركة: اعرض السلسلة الخام والسلسلة المنعَّمة على الرسم نفسه في Notebook؛ يجب أن تتبع الثانية الأولى بتأخر ظاهر.

أفضل الممارسات

  • صفِّ قبل الإثراء: استخدام filter وlimit قبل join أو lookup يقلل الحجم المقروء وكلفة الاستعلام.
  • سمِّ البادئات: prefix: "biz." أوضح عند إعادة القراءة بعد ستة أشهر من lookup..
  • حدِّد الزمن في جانبي join: الاستعلام الفرعي بلا from: يستخدم النافذة الافتراضية، وقد لا تكون نافذة الاستعلام الرئيسي.
  • أدِر إصدارات استعلامات الحوادث في Notebook مشترك: تتحول إلى دليل تشغيل (runbook).

الأسئلة الشائعة

لماذا يعيد join أسطرًا أكثر من المصدر؟

يتكرر كل سطر من اليسار لكل تطابق في اليمين. أزل التكرار من الجانب الأيمن بـ summarize أو dedup، أو انتقل إلى lookup إن كان تطابق واحد كافيًا.

أين أخزّن جدولًا مرجعيًا لـ lookup؟

في ملف lookup محمَّل في Grail ويُقرأ بالأمر load "/lookups/...". أما للجدول الكثير التغيّر فيغني استعلام فرعي على أحداث أو كيانات عن صيانة ملف.

هل يمكن حساب متوسط متحرك على مدة بدل عدد النقاط؟

ليس مباشرة: النافذة تعد عناصر. حدِّد interval في timeseries أو makeTimeseries، ثم احسب عدد النقاط المطابق للمدة المطلوبة.

الخلاصة

يثري lookup دون تكرار، ويربط join مصدرين، ويحوّل parse الرسالة إلى بيانات، وتعطي الدوال المتحركة الاتجاه. هذه الأدوات الأربع تغطي معظم أسئلة الحوادث. احتفظ بالاستعلامات التي نفعتك: سيبدأ التحقيق التالي متقدمًا بخطوة.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. صيغة DQL تتطور: تحقق من الأوامر والمعاملات في الوثائق الرسمية.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
RUM Dynatrace : configurer le Real User Monitoring et lire les Core Web Vitals

RUM Dynatrace: إعداد مراقبة المستخدمين الفعليين وقراءة Core Web Vitals

Next Post
OpenPipeline masquage : filtrer, masquer les données sensibles et réduire le coût

إخفاء البيانات الحساسة في OpenPipeline: التصفية وخفض التكلفة

Related Posts