باحثون يطلقون RealtimeBench لقياس أداء وكلاء الذكاء الاصطناعي في بيئات تتغير لحظياً

ما الجديد في هذه الورقة؟

نشر باحثون على arXiv ورقة بعنوان "The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock" تقدّم معيار RealtimeBench المكوّن من 180 مهمة موزعة على ستة أنواع من الألعاب. الفكرة الأساسية أن اللعبة تستمر في العمل أثناء استدلال الوكيل، بدلاً من تجميدها بانتظار ردّه.

لماذا يهم التوقيت؟

الوكلاء المبنيون على النماذج اللغوية الكبيرة قادرون على حل مهام تفاعلية معقدة، لكن الاستدلال واستدعاء الأدوات يستهلكان وقتاً. في بيئة متغيرة باستمرار، قد يصل الإجراء الصحيح متأخراً فيتحول إلى خطأ.

التقييمات المقترنة في الورقة تُظهر نتيجة لافتة: GPT-6.1-sol يتفوق على Jev الأسرع عندما تكون الألعاب متوقفة، لكنه يتراجع عنه عندما تستمر الألعاب في العمل.

ما هي TORSI؟

تقترح الورقة Two-Timescale Offline Recursive Self-Improvement (TORSI)، وهي بنية تفصل بين زمنين:

• معلّم بطيء: يدرس حالات الفشل ويختبر التصحيحات في ألعاب متوقفة بين المحاولات.
• طالب سريع: ينفّذ أثناء اللعب دون استدعاء المعلّم، مع اعتماد التحديثات بناءً على نتائج التحقق.

النتائج بالأرقام

المؤشر	قبل TORSI	بعد جولتين من TORSI
متوسط نتيجة Jev (مقياس 0–100)	13.51	24.19
أنواع الألعاب الستة	—	تحسّنت جميعها
ثلاثة نماذج أخرى	—	تحسّن متوسط نتائجها دون إعادة ضبط

تشير الورقة إلى أن التعليمات الناتجة قابلة للنقل، إذ رفعت متوسط نتائج ثلاثة نماذج إضافية دون إعادة تدريب.

حالات استخدام محتملة في المنطقة

• الخدمات الحكومية الرقمية: ردود على استفسارات المواطنين تتغير بياناتها لحظياً.
• القطاع المالي: مراقبة المعاملات وكشف الشذوذ في تدفقات متواصلة.
• الدعم الفني: وكلاء يتعاملون مع تذاكر متزامنة لا تنتظر انتهاء الاستدلال.

الخلاصة

تشير النتائج إلى أن تنظيم التفكير والتعلّم والتنفيذ عبر أزمنة متعددة قد يكون مساراً عملياً لجعل الوكلاء فعّالين في عالم لا يتوقف.

تنويه: هذا المقال يلخّص معلومات من المصدر المذكور. للأرقام والتواريخ الرسمية، راجع الرابط الأصلي. لا نضيف تفاصيل غير منشورة في المصدر.