Elasticsearch frozen tier: الكلفة الفعلية للقطات القابلة للبحث

Elasticsearch frozen tier: كلفة اللقطات القابلة للبحث وزمن الاستجابة المتوقع وسياسة ILM الواجب كتابتها، بحسب وثائق Elastic.
Elasticsearch frozen tier : coût réel des snapshots consultables

Elasticsearch frozen tier هو طبقة التخزين التي تُبقي البيانات القديمة قابلة للاستعلام بكلفة أقل، بترك هذه البيانات في مستودع لقطات (snapshots) بدل الأقراص المحلية. يغري هذا الوعد كل فريق SRE يحتفظ بالسجلات (logs) أشهرًا. لكن السؤال المفيد محدد: ماذا ندفع فعلًا، وما زمن الاستجابة الذي يجب قبوله؟

يعتمد هذا المقال على وثائق Elastic الرسمية (الصفحات التي رُجع إليها في 30 أكتوبر 2026) وعلى اختبار أداء (benchmark) نشرته Elastic في يناير 2025. تُنسب أرقام الناشر إلى مصدرها كما هي: span.observer لم يقس شيئًا. تنطبق الميزة على Elasticsearch، لا على Dynatrace Managed ولا على Dynatrace SaaS اللذين لهما تخزينهما الخاص.

باختصار

  • لا تحتوي طبقة frozen إلا على فهارس مركّبة جزئيًا (بادئة partial-) ومسنودة بلقطة snapshot.
  • تتطلب اللقطات القابلة للبحث ترخيص Enterprise بحسب الوثائق.
  • يظهر التوفير في الأقراص والعُقد. ويُدفع ثمنه زمن استجابة في الاستعلامات التي لا تجد البيانات في الذاكرة المؤقتة.
  • يصبح مستودع اللقطات النسخة الوحيدة من البيانات: يجب حمايته.

Elasticsearch frozen tier: ما هو

بحسب صفحة طبقات البيانات (data tiers)، تستضيف عُقد frozen بيانات زمنية نادرة القراءة ولا تتغير أبدًا. تصل عادةً من طبقة cold وتبقى فيها حتى حذفها. توصي Elastic بعُقد مخصصة بالدور data_frozen.

تميّز صفحة اللقطات القابلة للبحث بين نمطين:

  • تركيب كامل (restored-): تُخزَّن الشظايا (shards) مؤقتًا داخل العنقود. تذكر الوثائق أداءً مماثلًا عادةً لأداء فهرس عادي. تستخدمه ILM في طور hot أو cold.
  • تركيب جزئي (partial-): ذاكرة مؤقتة محلية ثابتة الحجم لا تحتفظ إلا بالبيانات التي بُحث عنها حديثًا. عند إخفاق الذاكرة المؤقتة تقرأ العقدة المستودع، فيكون البحث أبطأ. تستخدمه ILM في طور frozen.

ما ندفعه فعلًا

تتوزع الكلفة على أربعة بنود. أولها وثانيها ينخفضان، أما الآخران فمن السهل نسيانهما.

ما ينخفض

  • الأقراص والعُقد. بحسب Elastic، تحتاج طبقة cold بتركيب كامل ودون نسخة مكررة (replica) إلى نصف العُقد والقرص اللازمين لطبقة بفهارس عادية. وتتطلب frozen أقل من ذلك. وتذكر صفحة طبقات البيانات ما يصل إلى 20 ضعف سعة طبقة warm، بحسب Elastic.
  • النسخ بين العُقد. تنسخ عمليات التركيب ونقل الشظايا من المستودع، وتعدّ الوثائق ذلك عمومًا أرخص بكثير من النسخ من عقدة إلى أخرى.

ما يبقى أو يظهر

  • تخزين الكائنات. يحفظ المستودع البيانات (S3 أو Google Cloud Storage أو Azure Blob Storage أو HDFS أو نظام ملفات مشترك). يعتمد سعره على مزودك: راجع تعرفته الرسمية، فلا يرد هنا أي سعر.
  • حركة الخروج من الشبكة. تحذّر الوثائق من أن رسوم egress السحابية قد تكون كبيرة. ركّب اللقطات في عنقود يقع في المنطقة نفسها التي يقع فيها المستودع؛ وللبحث بين المناطق تنصح بالبحث بين العناقيد أو بالنسخ المتماثل.
  • الترخيص. تتطلب الميزة ترخيص Enterprise بحسب الصفحة نفسها.

يعبّر اختبار الأداء من Elastic عن الفرق بالأرقام في مثال. يقارن بين نشر كله hot بحجم 90 تيرابايت على Elastic Cloud ونشر بيوم واحد من hot والباقي في frozen. نسبة السعر، نحو 16 ضعفًا، تُستخرج بقسمة المبلغين الواردين في المقال (العملة غير محددة فيه). تعود التعرفات إلى وقت كتابة Elastic وقد تكون تغيرت: أعد الحساب بالتعرفة الحالية. وأمام خيار hot الكثيف يهبط الفرق إلى نحو 8.6 أضعاف بحسب المبلغين أنفسهما.

زمن الاستجابة المتوقع

يتناول اختبار الأداء، الذي نشرته Elastic في يناير 2025، حجم 105 تيرابايت من السجلات موزعة على أكثر من 90 يومًا. يضم العنقود ست عُقد على Google Cloud (ثلاث hot وثلاث frozen)، اختُبرت بأداة Rally. تحاكي الاستعلامات عمليات بحث Kibana Discover على السجلات؛ وقد تعطي أحمال أخرى نتائج أخرى. لا يحدد المقال إصدار Elasticsearch.

جدول زمن الاستجابة p99.9 الذي نشرته Elastic: hot وfrozen دون ذاكرة مؤقتة وfrozen مع ذاكرة مؤقتة لمدد 1 و14 و30 و90 يومًا

تبرز ثلاث قراءات من هذه الأرقام:

  1. الاستعلام الذي يصل إلى المستودع يكلّف عدة ثوانٍ، وأحيانًا أكثر بكثير. لمدة 90 يومًا تنشر Elastic حدًا أقصى قدره 5 دقائق دون ذاكرة مؤقتة، مقابل نحو 1.6 دقيقة معها.
  2. متى سخنت الذاكرة المؤقتة يقترب frozen من hot في بعض النوافذ الزمنية، مثل 14 يومًا.
  3. تُفرَّغ الذاكرة المؤقتة عند إعادة تشغيل عقدة، بحسب الوثائق. بعد الصيانة ستكون أولى عمليات البحث بطيئة.

النتيجة واضحة لمهندس SRE: يناسب frozen التحقيق في الحوادث لاحقًا أو التدقيق، لا لوحة تُحدَّث كل عشر ثوانٍ. وإذا كان SLO لزمن الاستجابة يشمل عمليات البحث هذه فقسه على استعلاماتك أنت.

إعداد سياسة ILM بطور frozen

هذه هي الخطوات الدنيا. المتطلبات المسبقة: ترخيص Enterprise وعُقد data_frozen ومستودع لقطات مسجَّل (هنا backing_repo، وهو اسم مأخوذ من الوثائق).

  1. سجّل المستودع الخاص باللقطات، تخزين كائنات أو نظام ملفات مشترك.
  2. أنشئ سياسة ILM. يُسمح بالإجراء searchable_snapshot في أطوار hot وcold وfrozen. في frozen يركّب فهرسًا partial-. القيمة min_age البالغة 30 يومًا والحذف عند 365 يومًا أدناه قيم مثالية يجب تكييفها.
سياسة ILM بصيغة JSON بأطوار hot وfrozen (الإجراء searchable_snapshot نحو backing_repo) وdelete
PUT _ilm/policy/logs-frozen
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": { "max_primary_shard_size": "50gb" }
        }
      },
      "frozen": {
        "min_age": "30d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "backing_repo"
          }
        }
      },
      "delete": {
        "min_age": "365d",
        "actions": { "delete": {} }
      }
    }
  }
}
  1. حدّد حجم الذاكرة المؤقتة. على عقدة frozen مخصصة، قيمة xpack.searchable.snapshot.shared_cache.size هي 90% من القرص افتراضيًا، وإلا 0b. بحسب الوثائق، يعطي قرص بحجم 4000 جيجابايت ذاكرة مؤقتة بحجم 3900 جيجابايت، ويعطي قرص بحجم 400 جيجابايت ذاكرة بحجم 360 جيجابايت. وقيمة المعامل max_headroom هي 100 جيجابايت إذا لم يُحدَّد الحجم.
ملف elasticsearch.yml: الدور data_frozen والمعامل xpack.searchable.snapshot.shared_cache.size بقيمة 4TB

نقاط انتباه من الوثائق

  • افتراضيًا قيمة force_merge_index هي true: يُدمج الفهرس في مقطع واحد قبل اللقطة، مما يقلل القراءات من المستودع.
  • لا يُنفَّذ الإجراء على فهرس الكتابة في data stream: خطّط لـ rollover.
  • يحذف الإجراء delete اللقطة أيضًا افتراضيًا؛ ويُبقيها delete_searchable_snapshot: false.

كيف تتحقق من أن الإعداد يعمل

بعد انتقال فهرس، اعرض الفهارس: يجب أن يبدأ الاسم بـ partial- وأن يوجد الفهرس على عقدة frozen. ثم شغّل الاستعلام نفسه مرتين وقارن المدتين: الأولى تملأ الذاكرة المؤقتة، ويجب أن تكون الثانية أسرع. راقب أيضًا صحة العنقود: دون نسخة مكررة قد يؤدي فقدان عقدة إلى نتائج جزئية طوال إعادة التوزيع.

أفضل الممارسات

  • لا تحذف اللقطة ولا المستودع أبدًا ما دامت فهارس مركّبة منه: إنه النسخة الوحيدة.
  • أبقِ المستودع والعنقود في المنطقة نفسها.
  • عطّل التوزيع (allocation) قبل إعادة تشغيل مخططة لتفادي تنزيل كامل جديد.
  • خصّص frozen للبيانات التي يُبحث عنها نادرًا.

وماذا عن OpenTelemetry وDynatrace

تحل طبقة frozen مشكلة احتفاظ لا مشكلة جمع. إذا كانت سجلاتك تصل عبر جامع (collector)، فراجع دليلنا عن OpenTelemetry Collector على Kubernetes والفرق بين OpenTelemetry وPrometheus. ولتحديد خيار الأداة اقرأ مقارنة Dynatrace وDatadog. لا يوثّق هذا المقال أي تكامل بين طبقة frozen وDynatrace.

الأسئلة الشائعة

هل تتوفر طبقة frozen دون ترخيص Enterprise؟

بحسب وثائق Elastic التي رُجع إليها، تتطلب اللقطات القابلة للبحث ترخيص Enterprise. تحقق من اشتراكك قبل تصميم بنية عليها.

ما الفرق بين cold وfrozen؟

يمكن لـ cold استخدام فهارس بتركيب كامل، بنسخة محلية ودون نسخة مكررة. أما frozen فيستخدم فهارس مركّبة جزئيًا فقط، بذاكرة مؤقتة محلية محدودة: قرص أقل وزمن استجابة أكبر.

هل الرقم «أرخص بـ 16 ضعفًا» مضمون؟

لا. إنه مثال بالأرقام من Elastic، بتعرفات Elastic Cloud في ذلك الوقت وحمل محدد. أعد الحساب بمزود التخزين لديك وبحجمك.

الخلاصة

تخفّض طبقة frozen بوضوح العتاد اللازم للاحتفاظ بالسجلات القديمة، مقابل زمن استجابة متغير ومستودع لقطات يصبح حرجًا. اختبرها على استعلاماتك الفعلية قبل أن ترسل إليها بيانات يعتمد عليها SLO.

مدوّنة مستقلة وغير تابعة لشركة Dynatrace LLC ولا لشركة Elastic N.V. Dynatrace علامة تجارية لشركة Dynatrace LLC. أرقام الناشر المذكورة مصدرها وثائق Elastic واختبار أداء أجرته، لا قياسات span.observer. تحقق دائمًا من القيم (المنافذ والإصدارات والأحجام) في الوثائق الرسمية الخاصة بإصدارك.

Total
0
Shares
Leave a Reply

Your email address will not be published. Required fields are marked *

Previous Post
EDOT Kubernetes : déployer avec l'OpenTelemetry Operator

EDOT Kubernetes: النشر باستخدام OpenTelemetry Operator

Next Post
Métriques de trace Datadog : RED sans échantillonnage

مقاييس التتبع في Datadog: RED دون الاعتماد على أخذ العيّنات

Related Posts