Long-Horizon-Terminal-Bench: معيار جديد لاختبار قدرات الوكلاء الذكيين في المهام طويلة الأمد

مقدمة

أطلق باحثون معيارًا جديدًا يُدعى Long-Horizon-Terminal-Bench (LHTB) لاختبار قدرة الوكلاء الذكيين على إنجاز مهام طويلة الأمد. يتكون المعيار من 46 مهمة عبر 9 فئات تشمل إعادة إنتاج التجارب، وهندسة البرمجيات، والتحليل متعدد الوسائط، والألعاب التفاعلية، والحوسبة العلمية.

تفاصيل المعيار

تم تصميم كل مهمة لتتطلب مئات الحلقات (متوسط 231 حلقة) وملايين الرموز (متوسط 9.9 مليون رمز لكل مهمة)، مع وقت تنفيذ يتراوح بين دقائق وساعات (متوسط 85.3 دقيقة). يوفر المعيار مكافآت كثيفة للتقدم الجزئي عبر تقسيم المهام إلى مهام فرعية دقيقة، مما يسمح بتقييم دقيق لقدرة الوكلاء على التخطيط طويل المدى وإدارة السياق والتصحيح التكراري.

النتائج الرئيسية

تم تقييم 15 نموذجًا متقدمًا، وأظهرت النتائج أن أفضل نموذج حقق 15.2% نجاح فقط عند عتبة مكافأة جزئية 0.95، و10.9% عند عتبة مكافأة كاملة 1.0. متوسط النجاح عبر النماذج كان 4.3% و1.7% على التوالي. هذه النتائج تكشف فجوة كبيرة في قدرات الوكلاء الحالية.

مقارنة مع المعايير السابقة

على عكس المعايير السابقة التي تركز على مهام قصيرة وتقييم ثنائي، يركز LHTB على المهام المعقدة طويلة الأمد مع تقييم دقيق للتقدم. هذا يجعله أكثر تحديًا وملاءمة لتطبيقات العالم الحقيقي.

حالات الاستخدام المحتملة في المنطقة

يمكن للباحثين والمطورين في الشرق الأوسط وشمال أفريقيا استخدام LHTB لاختبار وتحسين وكلائهم الذكيين في مجالات مثل تحليل البيانات الضخمة، وإعادة إنتاج التجارب العلمية، وتطوير البرمجيات المعقدة.

خاتمة

Long-Horizon-Terminal-Bench يمثل خطوة مهمة نحو تطوير وكلاء ذكيين أكثر قدرة على التعامل مع المهام المعقدة طويلة الأمد. النتائج الحالية تظهر حاجة ماسة للتطوير، ويُتاح المعيار للباحثين لدفع التقدم.

ملاحظة للمراجعة البشرية: تأكد من دقة الأرقام والمقارنات مع المعايير السابقة.