خبراء يبنون معيار STEM جديد يكشف فشل نماذج الذكاء الاصطناعي الرائدة في الفيزياء والكيمياء والأحياء والرياضيات

نظرة عامة

أصدر باحثون مجموعة بيانات جديدة باسم "Expert-validated STEM QA" على arXiv، تهدف إلى سد الفجوات في معايير تقييم الذكاء الاصطناعي في المجالات العلمية. تضم المجموعة 398 سؤالًا في الفيزياء والكيمياء والأحياء والرياضيات، تم إنشاؤها بواسطة 241 خبيرًا، مع تصميم دقيق للتوزيع وتنسيق أسئلة قابل للتحقق.

الأداء المنخفض للنماذج الرائدة

أظهرت الدراسة أن النماذج الرائدة مثل GPT-4 وClaude 3.5 تحقق أداءً أقل من 25% على هذه المجموعة، مما يشير إلى أن المعايير السابقة أصبحت مشبعة ولا تقدم تقييمًا دقيقًا. هذا الأداء المنخفض يعكس فجوة حقيقية في قدرة النماذج على التعامل مع أسئلة علمية معقدة تتطلب تفكيرًا عميقًا.

مقارنة مع معايير أخرى

المعيار	عدد الأسئلة	التنسيق	الأداء الرائد
MMLU	15,000	اختيار من متعدد	~90%
GPQA	448	اختيار من متعدد	~50%
STEM QA (جديد)	398	مفتوح	<25%

الجدول يوضح أن المعايير السابقة تعاني من تشبع، بينما يقدم المعيار الجديد تحديًا أكبر.

فوائد للمنطقة

يمكن للمؤسسات البحثية في المنطقة استخدام هذه المجموعة لتقييم النماذج محليًا قبل الاعتماد عليها في مشاريع علمية، مما يقلل مخاطر النتائج غير الدقيقة.

الخلاصة

هذه المجموعة تمثل خطوة مهمة نحو تقييم أكثر موثوقية للذكاء الاصطناعي في العلوم، وتوفر فرصة للمنطقة لتبني معايير صارمة.

ملاحظة للمراجعة البشرية: تحقق من دقة الأرقام المذكورة وتأكد من توافقها مع الورقة الأصلية.