إخفاء البيانات الحساسة في OpenPipeline: التصفية وخفض التكلفة

إخفاء البيانات الحساسة في OpenPipeline: أخفِ عناوين IP والبريد الإلكتروني والرموز عند الاستيعاب، واحذف الحقول غير المفيدة لخفض التكلفة.
OpenPipeline masquage : filtrer, masquer les données sensibles et réduire le coût

يضيف مطوّر سطر debug يسجّل الطلب كاملًا: عنوان البريد الإلكتروني وعنوان IP ورمز التفويض. بعد أسبوع، تُخزَّن هذه البيانات لمدة احتفاظ (retention) تبلغ 35 يومًا، ويستطيع قراءتها كل من يصل إلى السجلات. الحل في كلمتين: إخفاء البيانات الحساسة في OpenPipeline، أي تحويلها عند الاستيعاب، قبل تخزينها في Grail.

ويخدم خط المعالجة نفسه خفض التكلفة أيضًا: حذف الحقول التي لا يقرؤها أحد، واستبعاد سجلات debug الخاصة ببيئة الاختبار، وتوجيه السجلات الثرثارة إلى حاوية (bucket) ذات احتفاظ قصير. وبالنسبة إلى مهندس SRE يعني ذلك عملًا يدويًا أقل (toil)، فلا تنظيف يدويًا، ومخاطر امتثال تحت السيطرة.

هدف هذا الدرس: إعداد خط معالجة للسجلات يخفي عناوين IP والبريد الإلكتروني والرموز المميّزة، ويحذف الحقول غير المفيدة، ويستبعد السجلات عديمة القيمة، ثم التحقق من النتيجة بـ DQL. يعتمد OpenPipeline على Grail: المحتوى صالح لـ Dynatrace SaaS. أما في Dynatrace Managed فيمر الإخفاء عبر آليات أخرى مذكورة في الأسئلة الشائعة.

المتطلبات المسبقة

  • بيئة Dynatrace SaaS مع Grail وصلاحيات إدارة OpenPipeline.
  • سجلات مستوعَبة بالفعل (عبر OneAgent أو API أو OpenTelemetry)؛ راجع وحدة السجلات وOpenPipeline للأساسيات.
  • قائمة البيانات الواجب حمايتها، معتمدة من مسؤول حماية البيانات (DPO) لديك: البريد الإلكتروني وعناوين IP والرموز المميّزة ومعرّفات العملاء.
  • وصول إلى Notebooks لإجراء التحقق.

كيف يعالج OpenPipeline سجلًا

يدخل السجل عبر مصدر استيعاب، ثم يُوجَّه إلى خط معالجة بحسب شرط DQL، ثم يمر بمراحل. تطبّق مرحلة المعالجة (processing) معالجات بالترتيب: معالج DQL وحذف الحقول وإعادة التسمية وحذف السجل. لكل معالج شرط مطابقة (matcher) يحصر عمله في السجلات المعنية. ثم تختار مرحلة التخزين الحاوية، ومن ثمّ مدة الاحتفاظ.

النتيجة العملية: كل ما يُخفى في مرحلة المعالجة لا يُكتب أبدًا بصيغته الواضحة في Grail. أما الإخفاء الذي يُطبَّق لاحقًا، في استعلام أو لوحة معلومات، فلا يحمي شيئًا.

إخفاء البيانات الحساسة في OpenPipeline خطوة بخطوة

الخطوة 1: أنشئ خط معالجة ومساره

في شاشة OpenPipeline، قسم Logs، أنشئ خط معالجة باسم مثل logs-app-paiement. أضف مسارًا ديناميكيًا بشرط يحدد السجلات المستهدفة فقط:

matchesValue(k8s.namespace.name, "paiement")

ابدأ بنطاق ضيق: namespace أو تطبيق واحد. ستوسّعه بعد التحقق من النتيجة.

الخطوة 2: أخفِ عناوين IP

أضف معالج DQL في مرحلة المعالجة. لاستبدال كل عناوين IP الموجودة في الرسالة:

fieldsAdd content = replacePattern(content, "IPADDR", "xxx.xxx.xxx.xxx")

إذا كان العنوان معزولًا أصلًا في حقل وتريد الاحتفاظ بالشبكة للتحليل، فاقتطعه بدل محوه:

fieldsAdd client.ip = ipMask(client.ip, 24)

تصفّر الدالة ipMask(..., 24) البايت الأخير: تعرف من أي شبكة جاءت الحركة دون تحديد الجهاز. عدّل اسم الحقل (client.ip هنا) بحسب بياناتك.

الخطوة 3: أخفِ عناوين البريد الإلكتروني

يستخرج معالج DQL ثانٍ العنوان ثم يستبدله ثم يحذف الحقل المؤقت:

parse content, "LD ([a-zA-Z0-9.!#$%&*+-/=?^_{|}~]+'@' LD '.' LD):email"
| fieldsAdd content = replaceString(content, email, "[email protected]")
| fieldsRemove email

شرط المطابقة الموصى به: contains(content, "@"). عندها لا يعمل المعالج إلا على الأسطر التي يُحتمل أن تحوي عنوانًا، مما يحدّ من تكلفة المعالجة. يعالج هذا النمط أول عنوان في السطر: اختبره على صيغك الفعلية بوظيفة المعاينة في المعالج.

الخطوة 4: أخفِ الرموز المميّزة

تنتهي رموز Bearer كثيرًا في سجلات الوصول. يستبدلها نمط DPL موجّه:

fieldsAdd content = replacePattern(content, "'Bearer ' [a-zA-Z0-9._-]+", "Bearer ***")

تحقق من هذا النمط في المعاينة بأمثلة من سجلاتك: شكل الرموز يختلف من مزوّد هوية إلى آخر.

الخطوة 5: احذف الحقول غير المفيدة

أضف معالجًا لحذف الحقول، أو معالج DQL:

fieldsRemove http.request.header.cookie, debug.payload

كل سمة مخزَّنة لها كلفة، وكوكي الجلسة بيانات حساسة أيضًا. احذف ما لم يُستخدم في أي استعلام منذ ثلاثة أشهر.

الخطوة 6: استبعد السجلات عديمة القيمة

أضف معالج حذف السجل (Drop record) بشرط المطابقة هذا:

matchesValue(loglevel, "DEBUG") and matchesValue(deployment.environment, "test")

لا تُخزَّن هذه الأسطر. أما السجلات التي نريد الاحتفاظ بها لفترة قصيرة، فالأفضل استخدام مرحلة التخزين: عيّنها إلى حاوية ذات احتفاظ قصير بدل حذفها.

كيف تتحقق من أن الإعداد يعمل

أنشئ بعض أسطر الاختبار، وانتظر دقيقة إلى دقيقتين، ثم شغّل في Notebook:

fetch logs, from:now()-30m
| filter k8s.namespace.name == "paiement"
| summarize {
    total = count(),
    ip_masquees = countIf(contains(content, "xxx.xxx.xxx.xxx")),
    emails_masques = countIf(contains(content, "[email protected]")),
    emails_restants = countIf(contains(content, "@") and not contains(content, "[email protected]"))
  }

يجب أن تكون قيمة emails_restants صفرًا. وإلا فاعرض هذه الأسطر بـ filter لترى الصيغة التي تفلت من النمط. تحقق أيضًا من أنه لا يظهر أي سطر DEBUG من بيئة الاختبار، وأن الحقول المحذوفة اختفت من السجلات الجديدة. أما السجلات المكتوبة قبل تفعيل خط المعالجة فتبقى دون تغيير.

لمتابعة الأثر على الحجم المستوعَب، قارن عدد الأسطر في اليوم قبل الإعداد وبعده، باستعلامات مراقبة استيعاب السجلات.

أفضل الممارسات

  • أخفِ في أبكر وقت ممكن: في التطبيق إن أمكن، وإلا ففي OpenTelemetry Collector، وإلا ففي OpenPipeline. عدة طبقات أفضل من طبقة واحدة.
  • اختبر بالمعاينة كل معالج قبل تفعيل خط المعالجة.
  • قيّد كل معالج بشرط مطابقة: سجلات أقل معالجة تعني مفاجآت أقل.
  • وثّق قواعد الإخفاء لمسؤول حماية البيانات، وأدر إصدارات الإعداد (Monaco أو Terraform).
  • احتفظ بالسياق المفيد: إخفاء trace_id سيكسر الربط بين السجلات والتتبعات (راجع سجلات OpenTelemetry مع trace_id).

الأسئلة الشائعة

هل ينطبق الإخفاء على السجلات المخزنة سابقًا؟

لا. يعمل OpenPipeline عند الاستيعاب. أما البيانات المخزنة أصلًا فيلزم المرور بآليات حذف البيانات في Grail الموصوفة في الوثائق.

كيف أخفي البيانات الحساسة مع Dynatrace Managed؟

OpenPipeline غير متاح دون Grail. في Managed، استخدم خيارات إخفاء البيانات الحساسة في OneAgent وفي إدارة السجلات، أو أخفِ في OpenTelemetry Collector بالمعالج transform قبل الإرسال.

هل يخفض حذف السجلات بـ Drop record الفاتورة فعلًا؟

السجلات المحذوفة لا تُخزَّن ولا يُحتفظ بها، مما يقلل أحجام الاحتفاظ والاستعلام. أما الأثر الدقيق على الفاتورة فيتوقف على نموذج الترخيص لديك: تحقق منه بالعودة إلى عقدك وأحداث الاستهلاك.

الخلاصة

تكفي بضعة معالجات موجّهة جيدًا: replacePattern وipMask لعناوين IP، وأمر parse للبريد الإلكتروني، ونمط للرموز المميّزة، وfieldsRemove وDrop record للحجم. تحقق بـ DQL، ووثّق من أجل الامتثال، فلا يتحول سطر debug ثرثار قادم إلى حادثة بيانات.

span.observer مدوّنة مجتمعية مستقلة وغير تابعة لشركة Dynatrace LLC. Dynatrace علامة تجارية تعود إلى مالكها. تتطور أسماء الشاشات والمعالجات والدوال، لذا تحقق منها في الوثائق الرسمية لإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
DQL avancé : lookup, join, parse et fonctions de fenêtre

DQL المتقدم: lookup وjoin وparse والدوال المتحركة

Next Post
Licence DPS Dynatrace : comprendre et maîtriser la consommation

ترخيص DPS في Dynatrace: التسعير وجدول الأسعار وقراءة الاستهلاك

Related Posts