أمازون تدعم التخزين المؤقت للنماذج في SageMaker HyperPod لتقليص زمن الإقلاع البارد
ما الجديد؟
أعلنت أمازون ويب سيرفيسز دعم التخزين المؤقت للنماذج (Model Caching) في خدمة Amazon SageMaker HyperPod لأحمال الاستدلال. تعمل الميزة على تحميل أوزان النماذج وصور الحاويات مسبقًا على عُقد العنقود، لتقرأ الحاويات (pods) البيانات من تخزين NVMe المحلي بدلًا من تنزيلها عبر الشبكة عند كل تشغيل.
لماذا يهم؟
الإقلاع البارد (Cold Start) من أكبر معوّقات تشغيل الاستدلال على العناقيد: عند إنشاء حاوية جديدة، تنتظر تنزيل أوزان النموذج الضخمة وصور الحاويات عبر الشبكة، وقد يستغرق ذلك عشرات الدقائق للنماذج الكبيرة. مع التخزين المؤقت، ينخفض هذا الزمن إلى ثوانٍ لأن القراءة تصبح محلية.
كيف يعمل؟
- تُحمّل أوزان النموذج وصور الحاويات مسبقًا على عُقد العنقود.
- تُخزَّن البيانات على أقراص NVMe المحلية في كل عقدة.
- عند تشغيل حاوية استدلال، تُقرأ البيانات محليًا بدلًا من الشبكة.
- النتيجة: زمن إقلاع أقصر، واستغلال أفضل للموارد، وتكلفة تشغيل أقل.
مقارنة سريعة
| المعيار | بدون تخزين مؤقت | مع التخزين المؤقت |
|---|---|---|
| مصدر تحميل الأوزان | الشبكة | NVMe المحلي |
| زمن الإقلاع البارد | عشرات الدقائق | ثوانٍ |
| استغلال الموارد | منخفض أثناء الانتظار | أعلى |
| ملاءمة التوسّع الديناميكي | محدودة | أفضل |
حالات استخدام للفرق في المنطقة
- الاستدلال المتقطع: تشغيل نماذج عند الطلب دون انتظار طويل.
- التوسّع الديناميكي: إضافة عُقد بسرعة عند ارتفاع الحمل.
- بيئات الاختبار والتطوير: تسريع دورات التجربة والتحقق.
- الخدمات الحكومية والمؤسسية: تقليل زمن الاستجابة في التطبيقات الحساسة للتأخير.
ما يجب مراعاته
- تحتاج العُقد إلى مساحة NVMe كافية لاستيعاب أوزان النماذج.
- يجب مراجعة إعدادات العنقود لتفعيل الميزة.
- الفائدة الأكبر للنماذج الكبيرة وأحمال الاستدلال المتكررة.
ملاحظة للمراجعة البشرية: يُرجى التحقق من تفاصيل الإصدار والتوافر الإقليمي ومتطلبات NVMe قبل النشر.
أسئلة شائعة
ما هو التخزين المؤقت للنماذج في Amazon SageMaker HyperPod؟
هو ميزة جديدة تُحمّل أوزان النماذج وصور الحاويات مسبقًا على عُقد العنقود، بحيث تقرأ الحاويات (pods) من تخزين NVMe المحلي بدلًا من تنزيلها عبر الشبكة عند كل تشغيل.
كيف يقلّل التخزين المؤقت زمن الإقلاع البارد؟
بدلًا من انتظار تنزيل أوزان النموذج وصور الحاويات عبر الشبكة، تُقرأ البيانات محليًا من أقراص NVMe، ما يقلّص الزمن من عشرات الدقائق إلى ثوانٍ.
هل تستفيد فرق الذكاء الاصطناعي في الشرق الأوسط من هذه الميزة؟
نعم، خصوصًا الفرق التي تشغّل استدلالًا متقطعًا أو تتوسّع ديناميكيًا، إذ تقلّل زمن الانتظار وتحسّن استغلال الموارد وتخفض التكلفة التشغيلية.
هل تحتاج إلى تعديل الكود لتفعيل الميزة؟
الميزة تُفعّل على مستوى إعداد العنقود في HyperPod، ولا تتطلب عادةً تغييرًا في كود التطبيق نفسه، لكن يجب مراجعة متطلبات مساحة NVMe المحلية.
المصدر: AWS Machine Learning
محتوى بمساعدة الذكاء الاصطناعي، مراجع بشرياً.