Wiola: بنية جديدة للذكاء الاصطناعي الصغير تتفوق على GPT وLLaMA

ما هي Wiola؟

Wiola هي بنية نموذج لغوي صغير (SLM) جديدة كليًا، تم بناؤها من الصفر، ولا تشترك في أي نسب مع أي عائلة نماذج موجودة بما في ذلك GPT أو LLaMA أو Mistral أو Falcon. تقدم Wiola 5 مكونات مبتكرة:

• Spiral Rotary Positional Encoding (SRPE): تشفير موضعي حلزوني ثلاثي الأبعاد يجمع بين الإشارات الموضعية المطلقة والنسبية والهرمية.
• Gated Cross-Layer Attention (GCLA): انتباه متقاطع عبر الطبقات مع بوابة، يوفر لكل طبقة فك تشفير وصولًا إلى ملخصات مضغوطة من طبقتين سابقتين.
• Adaptive Token Merging (ATM): دمج ديناميكي للرموز المتجاورة المكررة دلاليًا في الطبقات الوسطى لتقليل تعقيد الانتباه دون فقدان المعلومات.
• Dual Stream Feed-Forward (DSFF): استبدال MLP التقليدي بتيارين متوازيين مدمجين بواسطة بوابة متعلمة لكل بُعد.
• WiolaRMSNorm: تطبيع معدل مع متجه إزاحة متعلم لكل بُعد يمنع انهيار التمثيل.

المقارنة مع النماذج الأخرى

تم إجراء مقارنات منهجية ضد GPT-2 وLLaMA-2 وMistral، وأظهرت Wiola تفوقًا في الكفاءة والأداء، خاصة في المهام التي تتطلب فهمًا سياقيًا عميقًا.

حالات الاستخدام في المنطقة العربية

يمكن استخدام Wiola في تطبيقات مثل:

• الحكومة الإلكترونية: تحليل المستندات الرسمية والرد على استفسارات المواطنين.
• الرعاية الصحية: تحليل السجلات الطبية وتقديم توصيات.
• التعليم: إنشاء محتوى تعليمي مخصص.

التوفر

Wiola متاحة بأربعة أحجام (120M، 360M، 700M، و1.5B معلمة) ومتوافقة تمامًا مع نظام HuggingFace Transformers، مع اجتياز جميع اختبارات الوحدة المعمارية البالغ عددها 22.

ملاحظة: هذا الخبر يتطلب مراجعة بشرية للتأكد من دقة الادعاءات حول التفوق على GPT-2 وLLaMA-2.