معيار LHTB 2.0 يقيس تقدّم وكلاء الذكاء الاصطناعي عبر مهام تمتد 3 ساعات

ما الجديد في LHTB 2.0؟

قدّم باحثون معيار Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0)، وهو امتداد للمعيار السابق يحافظ على 46 مهمة أصلية مع تصحيح عيوب المهام والبنية التحتية للتقييم، ويوسّع 31 مهمة ليصل الإجمالي إلى 77 مهمة في 13 مجالاً وثمانية أنواع مهام.

الهدف هو قياس ما إذا كان الوكيل قادراً على مواصلة التقدّم خلال سير عمل ممتد، لا مجرد اجتياز فحص ثنائي للحالة النهائية.

كيف تُبنى المهام؟

يعتمد الإصدار الجديد على خط أنابيب منهجي لإعادة بناء المهام:

• الانطلاق من أثر علمي أو هندسي عامل.
• استخدام تنفيذ مرجعي مُعامَل لتوليد سيناريوهات متعددة.
• كشف ستة سيناريوهات كأدلة سلوكية، وحجب ثلاثة للتقييم.
• استخدام سلالم تقدّم كثيفة لمكافأة التقدّم الجزئي ومنع حفظ المخرجات العامة.

كما مُدّد أفق التقييم من 90 دقيقة إلى ثلاث ساعات، مع تسجيل نقاط تحقق كل 30 دقيقة لقياس التقدّم المستدام داخل التشغيل الواحد.

النتائج الرئيسية

شمل التقييم 1,145 تشغيلاً لنموذج-مهمة من 15 نموذجاً رائداً:

النموذج	متوسط المكافأة الكثيفة	مهام عند عتبة R ≥ 0.95
GPT-6-astra	0.69	37
GPT-5.6-sol	0.67	32

وفي 30 مهمة إعادة بناء، بلغ متوسط الدرجات الثنائية 0.221 مقابل 0.653 للسلالم الكثيفة، ما يظهر أن التقييم القائم على النتيجة فقط يُهدر قدراً كبيراً من التقدّم الوسيط.

لماذا يهم الشرق الأوسط؟

مع توجّه المؤسسات والجهات الحكومية في المنطقة إلى نشر وكلاء لأتمتة العمليات التقنية والتحليلية، يصبح قياس الموثوقية عبر ساعات أكثر أهمية من قياس النجاح اللحظي. معيار يرصد التقدّم الجزئي يمنح فرق الهندسة مؤشرات أدق قبل الاعتماد التشغيلي، لكنه يبقى معياراً بحثياً يحتاج إلى تحقق مستقل.

تنويه: هذا المقال يلخّص معلومات من المصدر المذكور. للأرقام والتواريخ الرسمية، راجع الرابط الأصلي. لا نضيف تفاصيل غير منشورة في المصدر.