KVBoost: تسريع استدلال نماذج اللغات الكبيرة عبر إعادة استخدام ذاكرة التخزين المؤقت على مستوى الأجزاء

نظرة عامة

أعلن باحثون عن نظام KVBoost، وهو طبقة تسريع لاستدلال نماذج اللغات الكبيرة تعيد استخدام ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) على مستوى الأجزاء، مما يتيح إعادة الاستخدام بغض النظر عن موضع المحتوى المشترك في الطلبات. هذا يتغلب على قيود أنظمة التخزين المؤقت للبادئة التقليدية التي تتطلب بادئة متطابقة.

النتائج الرئيسية

في تقييم على نموذج Qwen2.5-3B مع 1000 عينة، حقق KVBoost تخفيضًا في زمن الاستجابة الأولي (TTFT) من 639.1 مللي ثانية إلى 142.4 مللي ثانية، أي تحسين بنسبة 4.49x، وتفوق على التخزين المؤقت للبادئة بنسبة 16%، مع دقة 99.2% مقابل 99.1%.

آلية العمل

يعتمد KVBoost على مخطط مفاتيح مزدوجة يفصل الهوية الموضعية عن هوية المحتوى، مما يدعم التطابق الدقيق والتقريبي. كما يستخدم استراتيجيتين لإصلاح أخطاء الحدود: إعادة الترميز الانتقائية للمناطق الحدودية، وإعادة حساب الرموز عالية الانحراف بعد تمرير استكشافي.

مقارنة مع الأنظمة الأخرى

النظام	زمن الاستجابة الأولي	الدقة
بدون تخزين مؤقت	639.1 مللي ثانية	99.1%
التخزين المؤقت للبادئة	~170 مللي ثانية (تقديري)	99.1%
KVBoost	142.4 مللي ثانية	99.2%

الأهمية للمنطقة

يساهم KVBoost في تقليل تكاليف البنية التحتية لنماذج اللغات الكبيرة، مما يشجع على تبني أوسع في التطبيقات العربية مثل تحليل الأكواد والبحث، ويدعم رؤية التحول الرقمي في المنطقة.

ملاحظة للمراجعة البشرية: تحقق من الأرقام والتفاصيل التقنية قبل النشر.