AWS SageMaker HyperPod مع Curvine: تخزين مؤقت متدرج يخفض تكاليف استدلال LLM الكبيرة

نظرة عامة

أعلنت AWS عن حل جديد لتشغيل استدلال النماذج اللغوية الكبيرة (LLM) على SageMaker HyperPod باستخدام تقنية التخزين المؤقت المتدرج (Tiered KV Cache) مع نظام Curvine. يهدف الحل إلى معالجة المفاضلة التقليدية بين استخدام عقد GPU باهظة الثمن أو زمن استجابة أولي بطيء.

كيف يعمل؟

يوسع الحل ذاكرة التخزين المؤقت للنموذج إلى تجمع NVMe موزع ومشترك، مما يسمح للنسخ المتعددة (replicas) بإعادة استخدام الكاش بسرعات قريبة من القرص المحلي. هذا يقلل الحاجة إلى عقد GPU ضخمة ويخفض التكاليف بشكل كبير.

مقارنة مع الأساليب التقليدية

• الطريقة التقليدية: عقد GPU كبيرة مع ذاكرة عالية → تكلفة مرتفعة.
• مع Curvine: عقد أصغر + NVMe مشترك → تكلفة أقل مع أداء مقبول.

التأثير على المنطقة

مع توجه الحكومات والشركات في الخليج لبناء قدرات ذكاء اصطناعي محلية، يقدم هذا الحل وسيلة اقتصادية لتشغيل نماذج مفتوحة مثل Llama أو Mistral على بيانات حساسة داخل المنطقة.

ملاحظة للمراجعة البشرية: تحقق من توفر الخدمة في منطقة الشرق الأوسط (مثل البحرين أو الإمارات) قبل النشر.