أمازون سايج ميكر يطلق توجيهاً واعياً بالبادئة لتقليل زمن استجابة النماذج اللغوية

ما الجديد في أمازون سايج ميكر؟

أعلنت أمازون عن إتاحة التوجيه الواعي بالبادئة (prefix-aware routing) في خدمة استنتاج أمازون سايج ميكر. تعمل هذه الاستراتيجية على توجيه الطلبات التي تشترك في بادئة النص نفسها إلى نفس النسخة، ما يبقي ذاكرة KV ساخنة ويقلل إعادة الحساب.

الأرقام الرئيسية

• خفض زمن أول رمز (P50) بنسبة تصل إلى 77% في اختبارات Llama 3.1 70B.
• رفع معدل إصابة ذاكرة KV من نحو 25% إلى أكثر من 80%.

لماذا يهم هذا؟

في تطبيقات النماذج اللغوية، تتكرر البادئات كثيراً مثل تعليمات النظام أو السياق المشترك. إعادة استخدام ذاكرة KV يقلل زمن الاستجابة والتكلفة، وهو أمر بالغ الأهمية للوكلاء والمساعدين الذين يخدمون آلاف المستخدمين.

حالات استخدام للشرق الأوسط

• مساعدون افتراضيون بالعربية والإنجليزية يعتمدون على تعليمات نظام ثابتة.
• وكلاء ذكاء اصطناعي للمؤسسات الحكومية والقطاع المالي.
• تطبيقات خدمة العملاء التي تتطلب زمن استجابة منخفضاً.

مقارنة سريعة

المقياس	قبل التوجيه الواعي بالبادئة	بعده
زمن أول رمز (P50)	مرجعي	أقل بنسبة تصل إلى 77%
معدل إصابة ذاكرة KV	~25%	أكثر من 80%

الخلاصة

تمثل هذه الميزة تحسيناً عملياً في البنية التحتية لاستنتاج النماذج اللغوية، ويمكن للفرق في المنطقة تجربتها لقياس الأثر على أحمال العمل ذات البادئات المتكررة.

ملاحظة: هذا المحتوى مُلخّص آلياً ويحتاج إلى مراجعة بشرية قبل النشر.