منصة OmniInsight: ذكاء الأعمال المحلي والتحليل الآلي بـ DuckDB والذكاء الاصطناعي الحافظ للخصوصية

معظم الشركات والمؤسسات بتواجه مشكلتين كبار لما تفكر تعمل لوحات تحكم وتقارير لتحليل أرقامها. الأولى هي تكلفة التراخيص الخيالية؛ برامج زي Power BI و Tableau بتفرض اشتراكات شهرية بتزيد مع كل يوزر، وتتطلب بناء مخازن بيانات سحابية معقدة وخطوط معالجة بتستنزف شهور من وقت مهندسي الداتا.

المشكلة التانية والأخطر ظهرت مع انتشار أدوات التحليل بالذكاء الاصطناعي؛ أغلب المنصات دي بتشترط رفع شيتات الإكسيل وملفات الرواتب وفواتير العملاء كاملة على سيرفرات سحابية خارجية عشان الموديل يحللها. وده في شركات كتير بيعتبر خط أحمر وانتهاك صريح لقوانين الخصوصية وسرية الحسابات والبيانات البنكية.

من هنا صممت OmniInsight كمنصة مفتوحة المصدر تكسر الاحتكار ده، وتقدم للمدير والمحلل المالي نفس كفاءة التحليل التفاعلي لكن على أجهزتهم وسيرفراتهم الخاصة تماماً وبدون ما تخرج داتا برة الشركة.

بدل ما نعتمد على قواعد بيانات مركزية ثقيلة ومكلفة في إدارتها وصيانتها، بنيت المنصة بالاعتماد على محرك DuckDB العمودي المدمج (In-Process Columnar OLAP):

المحرك شغال جوة بروسيس التطبيق نفسه ومكتوب بلغة C++ عالية الأداء، وبيقدر يقرا ملفات CSV و Parquet وإكسيل بسرعة فائقة ومعالجة مئات آلاف السطور في أجزاء من الثانية بالاعتماد الكامل على الرامات. كمان ضفت ميزة الفحص التلقائي للمجلدات (Union by Name)، بحيث لو عندك فولدر فيه تقارير مبيعات شهرية متفرقة، المنصة بتجمعهم في جدول تحليلي واحد لحظياً حتى لو ترتيب الأعمدة مختلف بين ملف والتاني.

عشان نستفيد من ذكاء وفهم النماذج اللغوية الحديثة من غير ما نضحي بسرية أرقام الشركة، صممت معمارية وسيطة محكمة بتفصل تماماً بين الفهم الدلالي للأسئلة وبين تنفيذ العمليات الحسابية:

لما المستخدم يرفع ملف، المحرك المحلي بيفحص الملف ويستخرج الـ Schema (أسماء الأعمدة ونوع الداتا) مع شوية مؤشرات إحصائية عامة زي عدد السطور، وأعلى وأقل قيمة، والوسيط الحسابي، ونسبة الخانات الفاضية، مع عينات عشوائية مشفرة الهوية. المعلومات العامة دي بس هي اللي بتتبعت لطبقة الذكاء الاصطناعي عبر مكتبة LiteLLM عشان يفهم سياق الملف، والموديل وظيفته تقتصر على كتابة كود SQL حتمي. كود الـ SQL بيرجع تاني لسيرفرك المحلي ومحرك DuckDB هو اللي بينفذه على أرقامك الحقيقية، والداشبورد بتتبني قدامك على المتصفح والملفات الخام مخرجتش نهائياً برة السيرفر.

تتضمن المنصة شات تحليلي تفاعلي بيسمح للمدير أو المحلل يطرح أسئلته بالعربي أو بالإنجليزي، زي: مين أعلى 5 مناديب مبيعات الشهر اللي فات؟ أو إيه أكتر الأصناف ربحية بعد خصم تكاليف الشحن؟:

المساعد بيترجم السؤال فوراً لاستعلام DuckDB SQL مطابق لمعايير قواعد البيانات. ولو الموديل كتب استعلام فيه غلطة في اسم عمود أو سينتاكس غير متوافق، ميزة التصحيح الذاتي التلقائي (Self-Correction Loop) بتتدخل فوراً؛ بتاخد رسالة الخطأ الناتجة وتراجعها مع هيكل الجدول وتطلب من الموديل يصلح الغلطة ويعيد تشغيل الكود في أجزاء من الثانية قبل ما تظهر النتيجة للمستخدم، وده بيخلي تجربة الاستخدام سلسة جداً لغير التقنيين.

الواجهة الأمامية مبنية بأحدث إصدارات Next.js و React 19 مع مكتبة Apache ECharts لتوليد رسوم بيانية تفاعلية سريعة، مع دعم مريح للتبديل بين النمط الفاتح والداكن ومحاذاة كاملة للغة العربية (RTL):

وفرت مع المنصة 4 مجموعات داتا تجريبية واقعية جاهزة ومحملة مسبقاً جوة الرامات، بتشمل مبيعات تجارة إلكترونية دولية، ومصاريف تشغيلية ربع سنوية، واشتراكات برمجيات SaaS، وسلاسل شحن وإمداد. ده بيسمح لأي فريق عمل إنه يفتح المنصة ويجرب قوة الاستعلامات وتوليد الداشبورد بضغطة زرار واحدة ومن غير ما يحتاج يجهز أو يرفع أي ملفات في البداية.