CSTutorBench: معيار جديد لتقييم النماذج اللغوية الصغيرة كمعلمين لبرمجة الكتل

مقدمة

نشر باحثون على arXiv معيار CSTutorBench، وهو معيار جديد لتقييم النماذج اللغوية الصغيرة (SLMs) كمعلمين في بيئة VEX VR لبرمجة الكتل. يهدف المعيار إلى سد الفجوة في تقييم النماذج في المجالات التعليمية المحددة، خاصة تلك غير الممثلة في بيانات التدريب.

تفاصيل المعيار

يتكون CSTutorBench من 17 سيناريو قائم على أسئلة، تم تقييمها باستخدام نموذج تقييم تربوي يستند إلى أبحاث التغذية الراجعة. تم اختبار 11 نموذجًا تتراوح معاملاتها بين 4B و120B.

النتائج الرئيسية

أظهرت النتائج أن النماذج تؤدي جيدًا في المعايير السطحية مثل المفردات والنبرة، لكنها تفشل في السلوك التربوي العميق، خاصة تجنب تسريب الإجابات والتفاعل مع تاريخ تصحيح الأخطاء. كما تبين أن عائلة النموذج وطريقة الضبط التعليمي تتنبأ بجودة التدريس أفضل من عدد المعاملات.

تحسين الموجهات

أدى تحسين الموجهات التربوية بناءً على أبحاث حديثة إلى رفع أداء 10 من 11 نموذجًا، مما يؤكد أهمية التصميم التربوي للموجهات.

الأهمية للمنطقة

هذا المعيار مهم للمؤسسات التعليمية في الشرق الأوسط وشمال أفريقيا التي تبحث عن حلول ذكاء اصطناعي منخفضة التكلفة وآمنة للخصوصية في تعليم البرمجة. يمكن أن يساعد في اختيار النماذج المناسبة للسياقات التعليمية المحلية.

ملاحظة للمراجعة البشرية: تأكد من دقة أسماء النماذج وعددها، وربط النتائج بالسياق التعليمي المحلي.