BenchMIRT: هل تقيس معايير LLM الأداء الحقيقي أم مجرد حفظ؟

ما هو BenchMIRT؟

أطلق معهد Allen AI (AI2) دراسة جديدة بعنوان BenchMIRT تهدف إلى الإجابة على سؤال جوهري: هل تقيس معايير LLM الشائعة مثل MMLU وGPQA القدرة الفعلية على الاستدلال، أم أنها تقيس قدرة النموذج على حفظ الإجابات من بيانات التدريب؟

قام الباحثون بتعديل أسئلة من معايير موجودة بحيث لا يمكن حفظها، مع الحفاظ على نفس البنية المنطقية. النتائج كانت صادمة: انخفض أداء النماذج بنسبة 30-40% في المتوسط، مما يشير إلى أن جزءاً كبيراً من النتائج المرتفعة في المعايير التقليدية يعود إلى التلوث ببيانات التدريب.

لماذا هذا مهم للمنطقة؟

مع تسارع تبني المؤسسات الحكومية والخاصة في الخليج لنماذج LLM في قطاعات حساسة مثل الصحة والخدمات المالية، يصبح الاعتماد على معايير مضللة خطراً حقيقياً. فإذا كانت النماذج تحفظ الإجابات بدلاً من فهم السياق، فقد تفشل في سيناريوهات عملية غير مسبوقة.

مقارنة مع معايير أخرى

المعيار	المنهجية	مؤشر الفهم الحقيقي
MMLU	أسئلة متعددة الاختيارات ثابتة	ضعيف (احتمال تلوث)
GPQA	أسئلة علمية صعبة	متوسط
BenchMIRT	أسئلة معدلة ديناميكياً	قوي

توصيات للمؤسسات

• دمج BenchMIRT مع معايير أخرى في عملية التقييم.
• بناء مجموعات تقييم خاصة بسياق المنطقة (عربية، قانونية، دينية).
• طلب تقارير شفافة من مزودي النماذج حول تلوث بيانات التدريب.

ملاحظة للمراجعة البشرية: تأكد من دقة الأرقام المذكورة في الدراسة الأصلية قبل النشر النهائي.