إصدار Transformers v5.19.0: نموذج EmbeddingGemma 2 متعدد الوسائط من جوجل

ما الجديد في الإصدار

أصدر فريق Hugging Face Transformers الإصدار v5.19.0، ويتضمّن إضافة نموذج تضمين متعدد الوسائط جديد من جوجل باسم EmbeddingGemma 2، إلى جانب مجموعة من التغييرات الكاسرة في واجهات نماذج MoE والانتباه والتخزين المؤقت.

EmbeddingGemma 2: تضمين موحّد لأربع وسائط

النموذج مبني على معمارية Gemma 4، ويرمّز النص والصورة والصوت والفيديو — منفردة أو مدمجة في مدخل واحد — إلى فضاء متجهي مشترك بأبعاد 768. ويستخدم Matryoshka Representation Learning، ما يسمح بتقليص التضمينات إلى 512 أو 256 أو 128 بُعدًا دون إعادة تدريب، وهو مفيد لموازنة الدقة مقابل التكلفة في أنظمة الاسترجاع.

كما يوفّر النموذج ميزانيات قابلة للضبط لرموز الصورة والفيديو، ويمكن تعطيل أبراج الرؤية أو الصوت غير المستخدمة عند التحميل لتوفير الذاكرة. وتشمل حالات الاستخدام الاسترجاع عبر الوسائط، والتشابه الدلالي، والتجميع، والتصنيف.

تغييرات كاسرة يجب الانتباه إليها

• router logits في نماذج MoE: كل نموذج MoE يحسب logits للموجّه أصبح يُرجعها عند تفعيل output_router_logits=True، وفق نمط Qwen3-MoE. على الشيفرة التي تعتمد على المخرجات السابقة أن تقرأ هذه القيم من أصناف المخرجات الجديدة.
• بادئة "paged|": أصبحت مهملة لتنفيذَي SDPA وFlash Attention، ويُفضّل استخدام sdpa أو flash_attention_2 مباشرة للتجميع المستمر.
• OWLv2: أصبح embed_image_query يختار مربع الاستعلام بأعلى درجة موضوعية بدلًا من إرشادية OWL-ViT، ما قد يغيّر نتائج الكشف.
• التخزين المؤقت: دمج تحديث الذاكرة المؤقتة لمساري الفهرس وجدول الكتل في استدعاء واحد، ما يغيّر سلوك أي شيفرة مخصّصة تستدعي المسارين منفصلين.

التوازي المتخصص والتخزين المؤقت

أُضيف تنفيذ إرسال الرموز في التوازي المتخصص (Expert Parallelism)، ويُختار عبر قاعدة ep_dispatch_experts وأصبح الافتراضي لنماذج Qwen3 MoE وMellum، ما يزيل شرط تساوي حجم EP مع حجم TP. كما تم تكييف Trainer للعمل مع التوازي المتخصص، وأشارت الوثائق إلى دعم محوّلات PEFT لتوازي الموترات.

وفي جانب التخزين المؤقت، لم يعد generate يعدّل cache_config الخاص بالمستخدم، وأُصلح QuantizedLayer.reorder_cache، وأُضيفت تهيئة تخزين مؤقت لكل طبقة على حدة في DynamicCache وStaticCache لدعم النماذج غير المتجانسة.

ماذا يعني ذلك لفرق الذكاء الاصطناعي في المنطقة؟

بالنسبة للمؤسسات والجهات الحكومية في الشرق الأوسط التي تبني أنظمة بحث دلالي أو أرشفة وسائط، يقدّم EmbeddingGemma 2 مسارًا موحّدًا لفهرسة النص والصورة والصوت والفيديو في فضاء واحد، ما يبسّط معماريات الاسترجاع بدل تشغيل نماذج منفصلة لكل وسيط. أما تحسينات التوازي المتخصص ودعم التجميع المستمر في تنفيذَي الانتباه فتقلّل كلفة تشغيل نماذج MoE الكبيرة على بنية تحتية محلية، وهو عامل مهم لمن يفضّل الاستضافة داخل المنطقة.

توصيات قبل الترقية

• راجع أي شيفرة تعتمد على مخرجات نماذج MoE أو على بادئة paged|.
• اختبر خطوط الكشف التي تستخدم OWLv2 لأن نتائج الاستعلام قد تتغيّر.
• تحقّق من إعدادات التخزين المؤقت المخصّصة قبل النشر في بيئة الإنتاج.

تنويه: هذا المقال يلخّص معلومات من المصدر المذكور. للأرقام والتواريخ الرسمية، راجع الرابط الأصلي. لا نضيف تفاصيل غير منشورة في المصدر.