RBS-Attention: تسريع معالجة السياق الطويل بنسبة 20.65× دون إعادة تدريب
ما الجديد في هذه الورقة؟
نشرت ورقة على arXiv (رقم 2609.20971) طريقة RBS-Attention (Radius-Bounded Sparse Prefill) لتسريع مرحلة prefill في نماذج اللغة ذات السياق الطويل. المشكلة الأساسية أن الانتباه الذاتي الكثيف يعالج كامل الطلب قبل بدء التوليد، وهو ما يصبح مكلفاً جداً عند 128K رمز أو أكثر.
كيف تعمل؟
تعتمد الطريقة على فرعين متكاملين:
- الفرع المركزي (centroid): يلتقط الصلة المتوسطة لكل كتلة.
- الفرع الإنقاذي (rescue): يستخدم أقصى نصف قطر لكتلة المفاتيح وتوزيعه المعتمد على الطلب والطبقة والرأس لتحديد الكتل المعرّضة للتقليل من شأنها.
يُدمج الفرعان عبر عتبات مستقلة، مع الحفاظ على تنفيذ FlashAttention المتفرق المنتظم.
الأرقام الرئيسية
| المقياس | النتيجة |
|---|---|
| تسريع انتباه prefill المستقل | 20.65× |
| تسريع مقابل vLLM | 11.92× |
| تسريع زمن أول رمز (TTFT) من طرف إلى طرف عند 128K | 5.97× |
| دقة RULER (Qwen3-32B) | 88.65 مقابل 89.52 للانتباه الكثيف |
النموذج المرجعي: Qwen3-30B-A3B-Instruct-2507-FP8 على معالجات H100.
لماذا تهم المنطقة؟
فرق الاستدلال في الشرق الأوسط التي تشغّل نماذج سياق طويل (خدمات حكومية، تحليل مستندات قانونية، مساعدون بالعربية) تواجه غالباً تكلفة prefill وزمن أول رمز مرتفعين. تسريع يقارب 6× في TTFT يعني تجربة مستخدم أفضل وتكلفة GPU أقل لكل طلب.
حالات الاستخدام المحتملة
- تحليل مستندات طويلة بالعربية (عقود، لوائح، أرشيف).
- أنظمة RAG على قواعد معرفة كبيرة.
- مساعدون افتراضيون بسياق محادثة طويل.
ما يجب الحذر منه
النتائج مخبرية على نماذج ومهام محددة (RULER، LongBench-v2، InfiniteBench، Video-MME). يجب على الفرق التحقق من الجودة على بياناتها الفعلية قبل الاعتماد الإنتاجي.
ملاحظة للمراجعة البشرية: هذه الورقة قيد النشر على arXiv ولم تخضع بعد لمراجعة الأقران؛ يُنصح بالتحقق من الأرقام قبل النشر.
أسئلة شائعة
ما هي RBS-Attention؟
طريقة اختيار كتل متفرقة خالية من التدريب لمرحلة prefill في نماذج اللغة ذات السياق الطويل، تجمع بين فرع مركزي (centroid) وفرع إنقاذ (rescue) لتحديد الكتل المهمة بدقة.
كيف تختلف عن الانتباه المتفرق التقليدي؟
الانتباه المتفرق التقليدي يعتمد على مركز الكتلة فقط، مما قد يخفي رمزاً بالغ الأهمية بين رموز غير ذات صلة (mean dilution). RBS-Attention يضيف فرعاً ثانياً يعتمد على أقصى نصف قطر لكتلة المفاتيح لاستعادة هذه الكتل المهملة.
هل يمكن لفرق الذكاء الاصطناعي في الشرق الأوسط تبنّيها الآن؟
الطريقة خالية من التدريب ومتوافقة مع FlashAttention وvLLM، ما يجعلها جاذبة لفرق الاستدلال في المنطقة التي تعمل على نماذج سياق طويل مثل Qwen3. لكن يجب التحقق من الجودة على بيانات العمل الفعلية قبل النشر الإنتاجي.
ما مدى تأثيرها على الجودة؟
على Qwen3-32B الكثيف، سجلت 88.65 مقابل 89.52 للانتباه الكثيف في RULER، أي خسارة طفيفة مقابل تسريع كبير.
المصدر: arXiv cs.AI
ملخص بمساعدة الذكاء الاصطناعي من المصدر أعلاه. القصص عالية الثقة تُنشر تلقائياً، والبقية تنتظر مراجعة، ولا تُضاف وقائع غير موجودة في المصدر.