تحليل أنماط السجلات: من الكتلة الخام إلى استعلامات DQL قابلة لإعادة الاستخدام

تحليل أنماط السجلات في Dynatrace: جمع ملايين الأسطر في أنماط، ثم اشتقاق استعلامات DQL ولوحات معلومات ومعالجات OpenPipeline منها.
Analyse de patterns logs : de la masse brute aux requêtes DQL réutilisables

يعرف كل مهندس مناوبة هذه اللحظة: يصل تنبيه، فيفتح سجلات الخدمة المعنية، وتمتلئ الشاشة بعشرات الآلاف من الأسطر المتشابهة تقريبًا. لا يتغير فيها سوى الطابع الزمني ومعرّف الطلب وعنوان IP. والتصرف المعتاد أن تكدّس المرشّحات وتجرّب البحث النصي الكامل، ثم تكتب تعبيرًا نمطيًا أو أمر parse يدويًا لتتمكن أخيرًا من عدّ شيء ما. وهذا طويل، وهش خصوصًا حين تكتشف المصدر في الوقت نفسه الذي تعالج فيه الحادثة. وهنا يغيّر تحليل أنماط السجلات طريقة التعامل مع المشكلة.

يقلب تحليل أنماط السجلات، المتاح بصيغة المعاينة (preview) في تطبيق Logs على Dynatrace SaaS، المسألة: بدل البحث عن إبرة، تطلب من المنصة أن تجمع كومة القش. تُدمج الأسطر التي تتشارك البنية نفسها في نمط واحد، وتُعزل الأجزاء المتغيرة في صورة رموز (tokens) مصنّفة بحسب نوعها. فيحل بضع عشرات من الأنماط محل مئات الآلاف من السجلات.

يشرح هذا المقال ما تفعله الميزة فعلًا، وفي أي حالات توفر الوقت، وخصوصًا كيف تحوّل نمطًا اكتشفته إلى شيء دائم: استعلام DQL أو معالج OpenPipeline أو بلاطة في لوحة معلومات (dashboard).

ما الذي يفعله تحليل أنماط السجلات

المبدأ يشبه ما تفعله منذ زمن أدوات «تجميع السجلات» (log clustering)، لكنه يُنفَّذ هنا لحظة الاستعلام وعلى البيانات المخزّنة في Grail مباشرة. يفحص التحليل محتوى كل رسالة، ويفصل النص الثابت عن القيم الديناميكية ويستبدل هذه الأخيرة برمز. وتقع الأسطر التي تتشارك الهيكل نفسه في المجموعة نفسها، مع عدّاد للمرات واتجاه عبر الزمن.

الملفت أن كل رمز مصنّف بنوعه. فتميّز Dynatrace بين الطوابع الزمنية وعناوين IP والأرقام والنص الحر. عمليًا، ألف سطر من نوع «رفض الاتصال للمستخدم X من العنوان Y» متناثرة في مجموعة من مئة ألف سجل تصبح نمطًا واحدًا معدودًا ألف مرة، ويمكن بعدها استكشاف قيم X وY.

تُرتَّب النتائج بحسب الخطورة ثم التكرار. ويمكنك تضييق النطاق بعدة طرق:

  • تطبيق مقطع (segment) أعدّه خبراء مجال معين (مثل «سجلات منصة الدفع»)؛
  • إضافة مرشّحات مخصصة لاستكشاف عابر؛
  • اختيار نافذة زمنية تمتد من بضع دقائق إلى عدة أيام أو أسابيع.

لماذا يختلف عن البحث التقليدي

يفترض البحث النصي الكامل أنك تعرف ما تبحث عنه. ويفترض التجميع في DQL أن الحقول موجودة أصلًا، أي أن أحدًا كتب التحليل (parsing). أما تحليل الأنماط فلا يفترض هذا ولا ذاك: يكشف شكل البيانات قبل أن تصوغ فرضية. وهذا بالضبط ما ينقص في بداية أي تحقيق.

ويعيد أيضًا التوازن بين التكرار والأهمية. في القائمة الخام تطغى الرسالة الأكثر ثرثرة على كل ما سواها. وبعد تكثيف الأسطر، تصير مجموعة من عشرين تكرارًا ظهرت مساء أمس بنفس وضوح مجموعة من مليون سطر عادي. فتبرز الإشارات النادرة أو الجديدة أو المتطورة تلقائيًا.

أربع حالات يؤتي فيها هذا الأسلوب ثماره

ذروة أخطاء يجب توصيفها

يرتفع معدل فشل خدمة. بدل تمرير الرسائل واحدة واحدة، شغّل التحليل على نافذة الذروة. ستعرف في ثوانٍ هل تفسّر عائلة أخطاء واحدة الارتفاع، وهل ظهر نمط جديد قبله مباشرة، ومن أين تبدأ.

الإشارة الضعيفة الغارقة في الضجيج

يبدو تطبيق سليمًا لأن الغالبية الساحقة من سجلاته رسائل معتادة. وتمر مجموعة صغيرة من انتهاءات المهلة المتقطعة نحو واجهة خارجية دون أن تُلحظ. وبعد اختزالها في حفنة من الأنماط تقفز هذه المجموعة إلى العين.

سجلات الوصول كبيرة الحجم

في سجلات الوصول إلى الويب أو API، تكاد كل الأسطر تكون ردودًا بالرمز 200. يفصل التحليل هذه الطلبات العادية عن الحالات الشاذة: رموز حالة غير معتادة، ونقاط نهاية غير متوقعة، وإخفاقات مصادقة متكررة. وبفتح نمط ما تشاهد توزيع عناوين IP المعنية، فيمكنك مثلًا رصد محاولة هجوم بالقوة الغاشمة على قاعدة بيانات.

مصدر مجهول يجب دمجه

تطبيق جديد أو برنامج طرف ثالث لا يفهم أحد رسائله حقًا: السؤال الأول «ماذا يحتوي هذا المصدر؟». تجيب الأنماط ببيان أنواع الأحداث المنتَجة والحقول المتغيرة وتكرارها، وأيها يستحق تحليلًا أو إثراءً.

في التطبيق العملي

الخطوة 1: تحديد إطار التحليل

افتح تطبيق Logs، وطبّق مقطعًا أو مرشّحًا على الخدمة أو المضيف المعني، واختر نافذة زمنية تناسب سؤالك. في الحادثة، أحط بداية المشكلة بهامش قبلها؛ وعند دمج مصدر جديد، خذ عدة أيام لالتقاط الرسائل النادرة.

الخطوة 2: تشغيل التحليل وقراءة النتائج

شغّل تحليل الأنماط. ابدأ بالأنماط عالية الخطورة، ثم قارن اتجاهاتها: النمط الذي يبدأ تمامًا لحظة الحادثة مشتبه به أفضل من نمط كبير لكنه ثابت.

الخطوة 3: استكشاف الرموز

افتح النمط المختار وافحص توزيع رموزه. يصبح السؤال: أي مضيف، وأي معرّف، وأي رمز يهم فعلًا؟ إذا ركّز عنوان IP واحد معظم التكرارات فإن طبيعة التحقيق تتغير.

الخطوة 4: استرجاع الاستعلام المولَّد

لنمط مهم، يولّد التطبيق استعلام DQL يحتوي على تعليمة تحليل بلغة Dynatrace Pattern Language (DPL). تبدو النتيجة هكذا (مثال مبسّط يُكيَّف مع النمط الفعلي):

fetch logs
| filter matchesPhrase(content, "authentication failed")
| parse content, "LD 'user=' WORD:user LD 'from ' IPADDR:client_ip"
| summarize tentatives = count(), by:{client_ip, user}
| sort tentatives desc
| limit 20

صارت لديك الآن حقول مسماة (user وclient_ip) يمكنك التجميع عليها أو التصفية أو رسم سلسلة زمنية.

الخطوة 5: التحويل إلى حل دائم

يصلح نمط DPL نفسه أينما يصلح DQL: في Notebooks وDashboards وWorkflows، وخصوصًا في معالجات OpenPipeline. وفي هذه الحالة الأخيرة يتم التحليل عند الاستيعاب، وتتوفر الحقول المستخرجة لكل الاستعلامات اللاحقة دون إعادة حساب. وللمتابعة عبر الزمن، يمكن لبلاطة في لوحة معلومات أن تعتمد على استعلام من هذا النوع:

fetch logs
| parse content, "LD 'from ' IPADDR:client_ip"
| filter isNotNull(client_ip)
| makeTimeseries echecs = count(), by:{client_ip}

أفضل الممارسات

  • ابدأ بنطاق ضيق: مقطع أو مرشّح لكل خدمة يعطي أنماطًا أوضح من تحليل على كل سجلات البيئة.
  • أعد قراءة DPL المولَّد قبل ترقيته إلى OpenPipeline: نمط عام جدًا قد يلتقط أسطرًا لا علاقة لها، ونمط صارم جدًا سيفوّت بعضها.
  • حلّل عند الاستيعاب ما يُستخدم كثيرًا: إذا كان استعلام مبني على نمط يعمل في عدة لوحات معلومات، فانقل التحليل إلى OpenPipeline بدل إعادة حسابه عند كل عرض.
  • شارك عبر المقاطع: مقطع يعرّفه جيدًا الفريق المالك لمجال ما يجعل التحليل قابلًا للتكرار للجميع.
  • راقب ظهور أنماط جديدة بعد كل نشر: غالبًا ما يكون هذا أول دليل على تراجع في الجودة.

التوافر والقيود

وقت النشر، الميزة في مرحلة المعاينة (preview) لعملاء Dynatrace SaaS الذين لديهم Grail ونموذج الترخيص DPS، مع تسجيل مسبق في البرنامج. وكما في كل معاينة، قد يتغير السلوك والواجهة: راجع وثائق المنتج لمعرفة خيارات التصفية الحالية. ولاحظ أيضًا أن التحليل يعتمد على البنية النصية للرسائل: فالسجلات المهيكلة أصلًا بصيغة JSON تستفيد أكثر من تحليل JSON التقليدي.

الأسئلة الشائعة

هل ما زال لازمًا كتابة تعبيرات نمطية؟

أقل من السابق. لنمط مهم يولّد التطبيق بنفسه استعلام DQL مع تعليمة التحليل DPL المقابلة. يبقى أن تقرأه وتعدّله قبل إعادة استخدامه في لوحة معلومات أو معالج OpenPipeline.

من يستطيع استخدام تحليل الأنماط اليوم؟

وقت النشر، الميزة في مرحلة المعاينة لعملاء Dynatrace SaaS الذين لديهم Grail ونموذج الترخيص DPS، بعد التسجيل في البرنامج. راجع وثائق المنتج لمعرفة الحالة الراهنة.

هل التحليل مفيد على سجلات مهيكلة أصلًا بصيغة JSON؟

يعتمد على البنية النصية للرسائل: في السجلات المهيكلة بقوة بصيغة JSON، يكون تحليل JSON التقليدي عادةً أنسب. ويظهر نفع التحليل أكثر في الرسائل ذات النص الحر.

الخلاصة

لا يحل تحليل الأنماط محل DQL، بل يمهّد الطريق إليه. يختصر أصعب مراحل التحقيق، مرحلة اكتشاف شكل البيانات، وينتج في الأثناء التحليل الذي كان يجب كتابته يدويًا. وهو للفريق المبتدئ بوابة إلى التحليل المهيكل للسجلات، وللمستخدم المتمرس عدد من أنماط DPL لن يضطر إلى كتابتها. وبعد إتقان المصادر يبقى التأكد من استمرار وصولها: وهذا موضوع متابعة استيعاب السجلات.

للمزيد: From millions of log lines to actionable patterns in seconds with log pattern analysis (مدوّنة Dynatrace، بالإنجليزية).

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية لشركة Dynatrace LLC. تتطور ميزات SaaS بسرعة، لذا تحقق من توافرها في بيئتك وفي الوثائق الرسمية. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
Session Replay sur Grail : revoir ce que l'utilisateur a vécu, avec les traces et les logs à côté

Session Replay على Grail: شاهد ما عاشه المستخدم مع التتبعات والسجلات بجانبه

Next Post
Dynatrace MCP + Microsoft Teams : un agent Copilot Studio branché sur le serveur MCP

Dynatrace MCP مع Microsoft Teams: وكيل Copilot Studio مربوط بخادم MCP

Related Posts