أمازون توسّع تدريب MoE بالتعلم المعزّز على EKS عبر EFA وDeepEP بزيادة 40% في الإنتاجية
ما الذي أعلنته أمازون؟
نشرت أمازون بنية مرجعية لتوسيع التعلم المعزّز (Reinforcement Learning) لنماذج Mixture-of-Experts (MoE) على Amazon EKS، بالاعتماد على Elastic Fabric Adapter (EFA) ومكتبة DeepEP وAmazon S3. ووفق المصدر، أدّت هذه البنية إلى زيادة إنتاجية rollout الإجمالية بنسبة 40% في تدريب RLHF وGRPO على نطاق واسع.
لماذا يهم هذا؟
تدريب نماذج MoE بالتعلم المعزّز يفرض ضغطًا كبيرًا على الشبكة والاتصال بين وحدات GPU، لأن كل خطوة تتطلّب توزيع رموز بين خبراء متعددين. هذا يجعل زمن الاتصال عنق الزجاجة الأساسي. الجمع بين EFA عالي الأداء وDeepEP يقلّل هذا الزمن، ما يرفع الإنتاجية ويخفض كلفة التشغيل.
البنية المقترحة
- Amazon EKS: تنسيق عناقيد GPU وتوسيعها تلقائيًا.
- EFA: شبكة منخفضة الكمون وعالية النطاق الترددي بين العُقد.
- DeepEP: اتصالات مخصّصة لتوزيع الرموز بين الخبراء.
- Amazon S3: تخزين نقاط الحفظ والبيانات الوصفية.
مقارنة سريعة
| العنصر | البنية التقليدية | البنية المقترحة |
|---|---|---|
| الاتصال بين الخبراء | شبكة عامة | EFA + DeepEP |
| إنتاجية rollout | خط الأساس | +40% |
| إدارة العنقود | يدوية غالبًا | EKS مُدار |
| التخزين | محلي/مخصّص | Amazon S3 |
حالات الاستخدام في المنطقة
يمكن لفرق الذكاء الاصطناعي في الشرق الأوسط التي تضبط نماذج لغوية كبيرة بالعربية أو متعددة اللغات الاستفادة من هذه البنية لتقليل زمن التدريب وكلفة GPU، خصوصًا في مشاريع RLHF وGRPO التي تتطلّب دورات تدريب متكرّرة.
تنويه: هذا المقال يلخّص معلومات من المصدر المذكور. للأرقام والتواريخ الرسمية، راجع الرابط الأصلي. لا نضيف تفاصيل غير منشورة في المصدر.
أسئلة شائعة
ما هو DeepEP ولماذا يُستخدم مع MoE؟
DeepEP مكتبة اتصالات مخصّصة لتوزيع الرموز (token dispatch) بين الخبراء في نماذج Mixture-of-Experts، وتقلّل زمن الاتصال بين وحدات GPU أثناء التدريب والاستدلال.
كيف يساعد EFA في تسريع التعلم المعزّز؟
يوفّر Elastic Fabric Adapter شبكة عالية الأداء ومنخفضة الكمون بين عُقد الحوسبة، ما يقلّل عنق الزجاجة في تبادل التدرّجات والبيانات أثناء rollout.
هل تناسب هذه البنية فرق الذكاء الاصطناعي في الشرق الأوسط؟
نعم، لأنها تعتمد على خدمات سحابية مُدارة مثل EKS وS3، ما يسمح للفرق الإقليمية بتوسيع تدريب النماذج دون بناء عناقيد مخصّصة مكلفة.
ما الفرق بين RLHF وGRPO في هذا السياق؟
RLHF يعتمد على تغذية راجعة بشرية لضبط النموذج، بينما GRPO أسلوب تحسين يعتمد على مقارنة مجموعات من المخرجات، وكلاهما يستفيد من الإنتاجية الأعلى في rollout.
المصدر: AWS Machine Learning
ملخص بمساعدة الذكاء الاصطناعي من المصدر أعلاه. القصص عالية الثقة تُنشر تلقائياً، والبقية تنتظر مراجعة، ولا تُضاف وقائع غير موجودة في المصدر.