إصدار Transformers v5.15.0: دعم نموذج Muse Glimmer متعدد الوسائط من Meta وتحسينات كبيرة للأداء

أبرز النقاط

دعم نموذج Muse Glimmer من Meta، وهو نموذج متعدد الوسائط بحجم 30 مليار معلمة، مرخص Apache 2.0، ومصمم للتطبيقات الوكيلة مع إمكانية النشر المحلي.
تغييرات جوهرية: kernels أصبحت اختيارية لنماذج الانتباه الخطي، وواجهة برمجة التطبيقات للـ cache cropping تتطلب قيمًا سالبة، وT5 يدعم الآن SDPA.
تحسينات كبيرة في الأداء: تسريع معالجة الصور، ودعم توليد الصوت المجمع لـ Qwen2.5/3-Omni، وتوسيع دعم FSDP لـ 94 نموذجًا.
إصلاحات أمنية: معالجة ثغرة ReDoS في tokenizer، وإصلاحات متعددة لاستقرار النظام.

نظرة عامة

أصدرت Hugging Face إصدار Transformers v5.15.0، وهو تحديث رئيسي يضيف دعمًا لنماذج جديدة ويقدم تحسينات جوهرية في الأداء والبنية التحتية. أبرز إضافة هي نموذج Muse Glimmer من Meta، وهو نموذج متعدد الوسائط مصمم للتطبيقات الوكيلة، مع دعم نماذج أخرى مثل GraniteSWA وA.X-K1/K2 وCosmos3 Edge.

نموذج Muse Glimmer

Muse Glimmer هو نموذج كثيف بحجم 30 مليار معلمة، يتكون من مشفر بصري (2B) ومفكك نصي (28B). تم تقطيره من نموذج Muse الأكبر، ومرخص Apache 2.0، مما يسمح بالنشر المحلي لتطبيقات حساسة للخصوصية مثل البرمجة وتحليل المستندات والمساعدين الشخصيين. هذا النموذج مهم للمنطقة لأنه يوفر خيارًا مفتوح المصدر قويًا للتطبيقات الوكيلة دون الاعتماد على الخدمات السحابية الخارجية.

تغييرات جوهرية

kernels اختيارية: لم تعد kernels إلزامية لنماذج الانتباه الخطي (مثل Mamba)، مما يسمح للمستخدمين بتعطيلها إذا لم يحتاجوها، لكن يجب تفعيلها يدويًا للحفاظ على السلوك السابق.
cache cropping: الآن يقبل قيمًا سالبة فقط (إزاحات نسبية) بدلاً من الأحجام المطلقة، مما يتطلب تحديث الكود.
T5 مع SDPA: أصبح T5 وعائلته يدعمون SDPA و backends أخرى، مما قد يغير الأداء الافتراضي؛ يجب على المستخدمين ضبط attn_implementation="eager" إذا لزم الأمر.
إزالة دوال خاصة: تمت إزالة دوال مساعدة خاصة من معالجات الوسائط المتعددة، مما قد يؤثر على المكتبات المشتقة.

تحسينات الأداء والتوافق

تسريع معالجة الصور للنماذج متعددة الوسائط (GLM4V, MiniMaxM3-VL) عبر تقليل نسخ الموترات.
دعم توليد الصوت المجمع لـ Qwen2.5/3-Omni.
توسيع دعم FSDP لـ 94 نموذجًا مع خطط FSDP تلقائية واختبارات شاملة.
إصلاحات أمنية: معالجة ثغرة ReDoS في tokenizer، وإصلاحات لاستقرار النظام.
تحسينات للأجهزة: دعم XPU و MPS.

مقارنة مع الإصدارات السابقة

بالمقارنة مع v5.14، يركز هذا الإصدار على توسيع دعم النماذج المتعددة الوسائط وتحسين الأداء، مع تغييرات جوهرية قد تتطلب تعديلات في الكود. كما يقدم دعمًا أوسع للأجهزة و FSDP، مما يسهل التدريب الموزع.

الخلاصة

إصدار v5.15.0 خطوة مهمة لمطوري الذكاء الاصطناعي في المنطقة، خاصة مع دعم Muse Glimmer الذي يفتح آفاقًا للتطبيقات الوكيلة المحلية. التغييرات الجوهرية تتطلب مراجعة الكود الحالي، لكن التحسينات في الأداء والتوافق تستحق العناء.

ملاحظة: هذا المحتوى يتطلب مراجعة بشرية للتأكد من دقة المعلومات وملاءمتها للسياق المحلي.

أسئلة شائعة

ما هو نموذج Muse Glimmer؟

Muse Glimmer هو نموذج متعدد الوسائط من Meta بحجم 30 مليار معلمة (2B مشفر بصري + 28B مفكك نصي)، مصمم للتطبيقات الوكيلة مثل البرمجة وتحليل المستندات والمساعدين الشخصيين، ومرخص Apache 2.0.

ما هي التغييرات الجوهرية في إصدار v5.15.0؟

أهم التغييرات: kernels أصبحت اختيارية لنماذج الانتباه الخطي، وواجهة cache cropping تتطلب قيمًا سالبة، وT5 يدعم الآن SDPA، وإزالة دوال مساعدة خاصة من معالجات الوسائط المتعددة.

هل يمكن نشر Muse Glimmer محليًا؟

نعم، بفضل ترخيص Apache 2.0 وحجم 30 مليار معلمة، يمكن نشره في بيئات محلية لتطبيقات حساسة للخصوصية، وهو مناسب للمؤسسات في المنطقة.

ما هي التحسينات الرئيسية للمطورين في المنطقة؟

تحسينات الأداء مثل تسريع معالجة الصور، ودعم FSDP الموسع، وإصلاحات أمنية، وتوسيع دعم الأجهزة مثل XPU، مما يسهل تطوير ونشر النماذج.

المصدر: Hugging Face Transformers Releases

محتوى بمساعدة الذكاء الاصطناعي، مراجع بشرياً.