أمازون تطلق حاويات Ray LLM متعددة العقد لتشغيل نماذج ضخمة على EKS
ما الجديد؟
نشرت أمازون عبر مدونة AWS Machine Learning دليلاً لتشغيل أحمال استدلال متعددة العقد باستخدام حاويات Ray LLM Deep Learning Containers. الفكرة الأساسية هي نشر نموذج لغوي واحد موزّعاً على عقدتي GPU على Amazon EKS، مع فصل عقد prefill عن عقد decode خلف نقطة نهاية واحدة متوافقة مع OpenAI.
لماذا يهم هذا؟
النماذج اللغوية الكبيرة تتجاوز غالباً ذاكرة GPU واحدة، ما يفرض توزيع الاستدلال على عدة عقد. تجميع هذا المكدس يدوياً معقّد ويستهلك وقتاً. الحاوية الجاهزة تختصر هذه الخطوة، إذ تأتي بمكدس الاستدلال كاملاً، فينتقل الفريق من بناء النشر إلى ضبطه.
كيف تعمل البنية؟
- عقد prefill: تتعامل مع المرحلة الأولى من الاستدلال حيث تُعالَج المطالبة.
- عقد decode: تتولى توليد الرموز المتتابعة.
- نقطة نهاية واحدة: تُعرض النتيجتان عبر واجهة متوافقة مع OpenAI، ما يسهّل التكامل مع الأدوات الحالية.
فصل المرحلتين يتيح ضبط الموارد لكل منهما على حدة، لأن متطلبات prefill وdecode تختلف.
مقارنة سريعة
| النهج | الجهد المطلوب | المرونة |
|---|---|---|
| تجميع المكدس يدوياً | مرتفع | عالية لكن بتكلفة وقت |
| حاويات Ray LLM الجاهزة | أقل | كافية لمعظم حالات النشر |
حالات الاستخدام
يناسب هذا النهج الفرق التي تشغّل نماذج كبيرة على Kubernetes وتبحث عن تقليل التعقيد التشغيلي، خصوصاً عند الحاجة إلى توزيع الاستدلال عبر عقد متعددة دون إعادة بناء المكدس.
تنويه: هذا المقال يلخّص معلومات من المصدر المذكور. للأرقام والتواريخ الرسمية، راجع الرابط الأصلي. لا نضيف تفاصيل غير منشورة في المصدر.
أسئلة شائعة
ما هي حاويات Ray LLM من أمازون؟
هي حاويات Deep Learning جاهزة تتضمن مكدس الاستدلال الكامل لـ Ray LLM، وتتيح تشغيل نموذج لغوي واحد موزّعاً على عدة عقد GPU على Amazon EKS.
لماذا يُفصل prefill عن decode؟
فصل عقد prefill عن عقد decode يسمح بضبط الموارد لكل مرحلة على حدة، إذ تختلف متطلبات كل مرحلة من مراحل الاستدلال.
هل تحتاج الفرق إلى تجميع المكدس يدوياً؟
لا، فالحاوية تأتي بمكدس الاستدلال كاملاً، ما يعني أن الفريق يضبط النشر بدلاً من بنائه من الصفر.
هل هذا مناسب لفرق MENA؟
هو مفيد للفرق التي تشغّل نماذج كبيرة على Kubernetes وتبحث عن تقليل جهد التجميع اليدوي، لكنه يتطلب بنية GPU متعددة العقد.
المصدر: AWS Machine Learning
ملخص بمساعدة الذكاء الاصطناعي من المصدر أعلاه. القصص عالية الثقة تُنشر تلقائياً، والبقية تنتظر مراجعة، ولا تُضاف وقائع غير موجودة في المصدر.