أولمو-كور 3 من AI2: بنية تدريب مفتوحة لنماذج MoE الضخمة

ما الذي أُعلن عنه؟

نشر معهد Allen Institute for AI (AI2) عبر مدونة Hugging Face إعلانًا عن Olmo-core 3، وهو إصدار جديد من بنيته المفتوحة لتدريب النماذج اللغوية الكبيرة، هذه المرة بتركيز صريح على نماذج Mixture-of-Experts (MoE) الضخمة.

بحسب الإعلان، تهدف البنية إلى تقديم أساس تدريبي مفتوح وقابل للتوسع، بحيث يستطيع الباحثون والمهندسون بناء نماذج MoE كبيرة وتدريبها دون الاعتماد على منظومة مغلقة.

لماذا يهم هذا الموضوع؟

نماذج MoE تعتمد على تفعيل جزء فقط من معاملات النموذج عند كل عملية استدلال، ما يسمح بزيادة الحجم الكلي للنموذج مع إبقاء كلفة الحوسبة لكل رمز أقل من النماذج الكثيفة المكافئة. لكن تدريب هذه النماذج معقد هندسيًا: يحتاج إلى توزيع متوازن للأحمال بين الخبراء، وإدارة اتصالات مكثفة بين وحدات المعالجة، وبنية تحتية تتحمل الأعطال.

لذلك فإن أي بنية مفتوحة تخفض هذا التعقيد تكون ذات قيمة مباشرة للفرق التي لا تملك موارد مختبرات ضخمة.

الفرق بين البنى المفتوحة والمغلقة

المعيار	Olmo-core 3 (مفتوح)	بنى تجريبية مغلقة
مراجعة الشيفرة	متاحة	غير متاحة عادة
إعادة إنتاج التجارب	ممكنة	محدودة أو غير ممكنة
التعديل والتخصيص	مرن	مقيّد بواجهات المزوّد
الاعتماد على مزوّد واحد	أقل	أعلى
الشفافية في القياسات	قابلة للتحقق	تعتمد على إفصاح المزوّد

ماذا يعني ذلك لفرق الذكاء الاصطناعي في المنطقة؟

على مستوى الشرق الأوسط، تتزايد المبادرات الرامية إلى بناء نماذج سيادية بالعربية أو باللغات المحلية، سواء في الإمارات أو السعودية أو غيرها. البنى المفتوحة مثل Olmo-core 3 تمنح هذه الفرق:

• قدرة على التدقيق: يمكن للجهات التنظيمية والبحثية مراجعة ما يجري داخل عملية التدريب.
• تقليل الارتباط بمزوّد واحد: لا تصبح الفرق رهينة لواجهة API أو ترخيص مغلق.
• إعادة استخدام المعرفة الهندسية: يمكن تكييف البنية مع متطلبات اللغة العربية أو البيانات المحلية.

في المقابل، تبقى العقبة الأساسية هي توفر الحوسبة: تدريب نماذج MoE الكبيرة يتطلب عناقيد GPU متصلة بشبكات عالية السرعة، وهي بنية تحتية لا تزال محدودة في كثير من دول المنطقة.

ما الذي لم يُعلن بعد؟

الإعلان لا يتضمن في المصدر أرقامًا معيارية مستقلة أو مقارنات أداء رقمية مع بنى أخرى. لذلك من المبكر الحديث عن تفوق أو توفير مؤكد في الكلفة، ويبقى الحكم مرهونًا بتجارب مستقلة.

تنويه: هذا المقال يلخّص معلومات من المصدر المذكور. للأرقام والتواريخ الرسمية، راجع الرابط الأصلي. لا نضيف تفاصيل غير منشورة في المصدر.