تقليم المحولات بخوارزمية «الحُطام الواعي»: طريقة جديدة لتقليص نماذج الرؤية واللغة

ما الجديد في هذه الورقة؟

تقترح ورقة بحثية جديدة على arXiv (رقم 2609.05448) إطارًا للتقليم الهيكلي بعد التدريب في محولات الرؤية واللغة، يصوغ اختيار الوحدات الهيكلية كمسألة قطاع متعدد الأذرع واعٍ بالحُطام تحت ميزانية تقييم مرشحين ثابتة.

الوحدات المرشحة هي رؤوس الانتباه ومجموعات قنوات MLP، إذ تُخفى مؤقتًا على دفعات معايرة. ويُعرَّف «الحُطام المزدوج» بأنه الخسارة بعد الإخفاء ناقص الخسارة الأساسية على نفس الدفعة، وهو ما يقلل التباين بين الدفعات.

كيف تعمل الطريقة؟

• تُبنى مكافأة ناعمة محدودة تقود إما سياسة على نمط UCB أو أخذ عينات Thompson الكسرية بيتا.
• يُبنى القناع النهائي تسلسليًا بإضافة وحدة واحدة في كل خطوة.
• تُصفَّر الوحدات المختارة وظيفيًا في نقطة التفتيش الكثيفة الأصلية.

نقطة مهمة يشدّد عليها المؤلفون: التأثيرات المبلّغ عنها تمثل كبتًا هيكليًا فعّالًا، وليست ضغطًا فيزيائيًا للنموذج ولا تسريعًا مقيسًا.

النماذج والمهام المستخدمة

المجال	النماذج	مجموعات البيانات
اللغة	GPT-2، OPT، Pythia، Qwen2.5، SmolLM2	WikiText-2، LAMBADA
الرؤية	ViT-B/16، DeiT-Tiny، Swin-Tiny	Imagenette

المقارنات تشمل الاختيار العشوائي، والمقدار، والبروز الساكن، والجشع المقيّد بالميزانية.

النتائج بالأرقام

• عبر خمس بذور، غالبًا ما تقلل أساليب القطاع التدهور مقارنة بالجشع المقيّد في مقارنات نماذج اللغة المزدوجة.
• من 28 مقارنة بارزة: 23 فترة ثقة bootstrap تستبعد الصفر، و11 اختبارًا مزدوجًا بـ p < 0.05.
• ستة اختبارات فقط تحقق q < 0.05 بعد تصحيح Benjamini-Hochberg على عائلة كاملة من 116 اختبارًا حسب مجموعة البيانات.
• نتائج التقييم المتطابق لـ ViT-B/16 وSwin-Tiny تشير إلى أن مكاسبهما لا تُفسَّر بمجرد ميزانية تقييم مرشحين أكبر.

قراءة نقدية

الدلالة الإحصائية الكاملة بعد التصحيح متواضعة (6 من 116)، ما يستدعي الحذر في التعميم. كما أن غياب قياس التسريع الفعلي يعني أن الفائدة العملية للنشر على أجهزة محدودة الموارد تبقى بحاجة إلى تحقق مستقل.

ماذا يعني ذلك لفرق المنطقة العربية؟

الفرق التي تنشر نماذج مفتوحة مثل Qwen2.5 أو SmolLM2 على بنية تحتية محدودة قد تجد في هذا الإطار أداة لتقليل التدهور عند تقليص الحجم، لكن يبقى قياس زمن الاستدلال والذاكرة محليًا خطوة ضرورية قبل أي اعتماد إنتاجي.

ملاحظة للمراجعة البشرية: هذه الورقة قيد مراجعة الأقران ولم تُنشر بعد في مؤتمر أو مجلة محكّمة، ويجب التحقق من الأرقام من النسخة النهائية قبل النشر.