تقنية جديدة لضغط نماذج اللغة الكبيرة مستوحاة من فيزياء المواد المغناطيسية

ما الجديد؟

نشر فريق بحثي على منصة Hugging Face مقاربة جديدة لضغط نماذج اللغة الكبيرة (LLMs) تقوم على إزالة كتل كاملة من الشبكة العصبية بدلاً من حذف أوزان فردية. الفكرة الأساسية هي إعادة صياغة قرار "أي كتلة نحذف؟" كمسألة تحسين Ising، وهو إطار رياضي مستعار من فيزياء المواد المغناطيسية.

لماذا يهم هذا؟

تشغيل نماذج اللغة الكبيرة مكلف: يحتاج إلى ذاكرة كبيرة ووحدات معالجة رسومية باهظة. تقنيات الضغط التي تقلل الحجم دون إعادة تدريب كامل تجعل النماذج أقرب إلى متناول المؤسسات ذات الموارد المحدودة.

كيف تعمل المقاربة؟

بدلاً من تقييم كل وزن على حدة، ينظر الباحثون إلى كتل الشبكة كوحدات مترابطة. تُصاغ العلاقات بين هذه الكتل كطاقة في نموذج Ising، ويُبحث عن التكوين الذي يقلل الطاقة مع الحفاظ على الأداء. النتيجة هي قرار منهجي بإزالة كتل كاملة.

مقارنة مع طرق الضغط الشائعة

الطريقة	ما تحذفه	إعادة التدريب
تقليم الأوزان الفردية	أوزان منفردة	غالباً مطلوبة
إزالة الكتل (هذا البحث)	كتل كاملة	أقل حاجة
التقطير	نموذج كامل	مطلوبة

الأثر على المنطقة

المؤسسات والجهات الحكومية في الشرق الأوسط التي تبني نماذج أو تشغلها محلياً تواجه قيوداً في الحوسبة والتكلفة. أي تقنية تخفض متطلبات التشغيل دون التضحية بالجودة تعني إمكانية تشغيل نماذج أقوى على بنية تحتية أقل، أو تقليل الاعتماد على الخدمات السحابية الخارجية.

ما ينبغي الحذر منه

النتائج المنشورة أولية، ولم تخضع بعد لتحقق مستقل واسع. كما أن فعالية إزالة الكتل تختلف حسب معمارية النموذج وحجمه. لا يُنصح بالتبني في بيئات الإنتاج قبل مقارنة دقيقة مع طرق الضغط المعتمدة.

ملاحظة: هذا المحتوى مُعدّ للمراجعة البشرية قبل النشر النهائي.