منظومة Archive Stream Injector: أتمتة وحقن أرشيفات الفيرموير والملفات الضخمة

في مراكز الصيانة وشبكات توزيع التحديثات للأجهزة الذكية، كنا بنتعامل باستمرار مع دفعات ضخمة من رومات وفيرموير الأجهزة الرسمية، الدفعة الواحدة فيها أكتر من 1,000 ملف مضغوط، وكل ملف حجمه بيتراوح بين 3 إلى 8 جيجابايت. المطلوب غالباً بيكون بسيط تقنياً: حقن ملف ترخيص، أو شهادة مصادقة، أو تعديل ترويسة بسيطة داخل الحزمة قبل ما تتنشر للأجهزة.

المشكلة الحقيقية كانت في الطريقة التقليدية المتبعة؛ عشان تعدل ملف جوه أرشيف ZIP أو 7z، البرنامج المعتاد بيفك ضغط الأرشيف بالكامل على الهارد ديسك، يحط الملف المطلوب، وبعدين يرجع يضغط الجيجابايتات دي كلها من الصفر. الخطوة دي كانت بتاخد في المتوسط 15 دقيقة للملف الواحد! حسابياً، الدفعة المكونة من 1,000 ملف كانت بتحتاج أكتر من 250 ساعة تشغيل متواصل للسيرفر، ده غير استهلاك مجنون للهارد ديسك وعمليات I/O بتعدي 3 تيرابايت من الكتابة المؤقتة اللي بتهلك وحدات الـ NVMe والـ SSD وتخنق الرامات بدون أي داعي.

عشان أكسر الاختناق ده نهائياً، بنيت المحرك بفلسفة مختلفة تماماً معتمدة على فهم البنية الثنائية لملفات الأرشيف، والتعديل عليها مباشرة في مجرى البايتات بدون فك الضغط.

في صيغ زي ZIP و 7z، كتل البيانات المضغوطة بتكون موجودة في أول الأرشيف، بينما تفاصيل الملفات وعناوينها وإزاحاتها المكانية متخزنة في فهرس مركزي بنهاية الملف يسمى Central Directory Record. المحرك اللي طورته مابيمسش كتل الداتا المضغوطة القديمة ولا بيفكها؛ هو بيفتح ملف الأرشيف كـ Binary Stream، يقفز مباشرة لنهاية كتل البيانات، يكتب بايتات الملف الجديد المضغوط في المساحة دي، وبعدها يقرأ الفهرس المركزي ويعدل الـ Offsets والترويسات فيه في مكانه دون إعادة كتابة باقي الملف.

بهذا الأسلوب، انخفضت عمليات الكتابة على الهارد ديسك من 8 جيجابايت لكل ملف إلى مجرد بضع كيلوبايتات لتحديث الفهرس، والعملية اللي كانت بتاخد ربع ساعة بقت بتنتهي في أقل من 180 ميلي ثانية فقط، دون استهلاك سنتيمتر واحد من المساحة التخزينية المؤقتة على القرص.

التعامل مع ملفات أنظمة تشغيل حساسة وفيرموير أجهزة مابيقبلش أي هامش للخطأ؛ لو بايت واحد اتحط في Offset غلط الأرشيف هيضرب، والجهاز اللي هيتعمل له فلاش بالروم هيموت تماماً Hard Brick. عشان كده كان لازم أضمن سلامة البيانات بنسبة 100%:

بنيت خط تدقيق تشفيري صارم شغال بالتوازي؛ المحرك بيحسب بصمة SHA-256 و MD5 للأرشيف الأصلي، ويفحص سلامة الـ Headers، وبعد إتمام الحقن المباشر في الـ Stream بيعمل فحص فوري للتأكد من إن الفهرس المركزي سليم 100% وإن الملفات القديمة ماتأثرتش ولا حصل فيها أي تداخل.

كمان وزعت المعالجة على نظام خيوط عمل متعددة استغلت كل أنوية المعالج بدون أي تضارب على الذاكرة أو تسريب للرامات، بحيث نقدر نشغل عشرات المهام بالتوازي ونستغل أقصى قدرة للـ I/O على وسائط التخزين.

وفرت للمشروع طريقتين للتشغيل حسب بيئة العمل: