دراسة جديدة تكشف: الطبقات العميقة في نماذج MoE أكثر تحملاً للحذف

نظرة عامة

نشرت دراسة جديدة على arXiv تحليلاً منهجياً لحساسية طبقات نموذج الخبراء المختلط (MoE) Qwen3.6-35B-A3B، الذي يحتوي على 40 طبقة و256 خبيراً لكل طبقة مع توجيه top-8. استخدم الباحثون تقنية إخفاء الخبراء بناءً على حجم الأوزان (magnitude-based masking) على معيار XLCoST لترجمة الأكواد البرمجية متعددة اللغات.

النتائج الرئيسية

أظهرت الدراسة أن حساسية الطبقات تعتمد بشكل كبير على العمق:

• الطبقات المبكرة (0-9) والمتوسطة (10-29) هشة للغاية تجاه إخفاء الخبراء، حيث يؤدي أي حذف إلى تدهور ملحوظ في الجودة.
• الطبقات المتأخرة (30-39) وخاصة الأخيرة (35-39) تتحمل إخفاء الخبراء منخفضي الحجم بشكل كبير.
• عند إخفاء 30% من الخبراء في جميع الطبقات، انخفض عدد النتائج الجيدة إلى 150/300، بينما حافظت السياسات المستهدفة للطبقات المتأخرة على 249-255/300 مع إخفاء 640-1145 خبيراً.

مقارنة الاستراتيجيات

الاستراتيجية	النتائج الجيدة (300)	الخبراء المخفيون
إخفاء مسطح 30%	150	~3072
إخفاء متأخر (30-39)	249-255	640-1145
إخفاء متأخر جداً (35-39) بنسبة 50%	419/500 (على 500)	640

تخفيض عرض التوجيه

قام الباحثون أيضاً باختبار تخفيض عدد الخبراء النشطين من 8 إلى 6 لكل رمز، مما أظهر انخفاضاً ملحوظاً في زمن التنفيذ دون فقدان الجودة على مجموعة من 100 مطالبة، لكنه لا يتوافق بعد بشكل كامل مع إخفاء الخبراء العدواني.

الآثار والتطبيقات

تقدم هذه النتائج أساساً تجريبياً لاستراتيجيات إخفاء الخبراء الواعية بالعمق، وتفتح مسارات عملية نحو الجراحة الفيزيائية للأوزان، وتقييم الخبراء بناءً على التنشيط، والتدريب التعويضي. هذا مهم للمؤسسات في المنطقة التي تسعى لنشر نماذج كبيرة على بنية تحتية محدودة.

ملاحظة للمراجعة البشرية: يرجى التحقق من دقة الأرقام والاستنتاجات مقارنة بالورقة الأصلية قبل النشر.