دراسة: مشاركة المبررات بين النموذج والمدقق قد تزيد الأخطاء بدل تحسين الدقة

ما الذي كشفته الدراسة؟

نشرت ورقة على arXiv بعنوان «What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA» تشخيصاً تجريبياً لسؤال عملي: ماذا تستفيد أنظمة الأسئلة والأجوبة المتخصصة بالأدوار فعلاً من تمرير المبررات من نموذج مُفكّر إلى نموذج مدقق؟

اعتمد الباحثون تشخيصاً قائماً على تدخّل في الرسالة: يثبّتون الأدلة والإجابة المرشحة، ويغيّرون فقط المبرر المارّ عبر الحدود بين المُفكّر والمدقق. أُجريت التجارب على 400 مثال من MuSiQue وHotpotQA و2WikiMultiHopQA، باستخدام DeepSeek كمولّد ومدقق.

النتائج الرئيسية

• المبررات الصادقة لا تضيف دقة تقريباً: لم تُحسّن الإجابات مقارنة بحالة عدم تمرير أي مبرر.
• المبررات المشوّهة تُحرّف أحكام الدعم بقوة: بنسبة 10–22% في الوضع العادي، وترتفع إلى 34–55% عند استخدام مطالبة صريحة بفحص المبرر.
• الإجابات النهائية تتحرك أقل: بنسبة 2–30% فقط، و2.9–35.3% فقط من انقلابات الدعم المشوّه تزامنت مع تغيّر في الإجابة.
• تدقيق بشري يكشف الفجوة: 16 من 42 حالة تشويه صالحة صُنّفت كـ«ثقة مفرطة في التشويه»، ورفض البشر أو اعتبروا غير واضحة 9 من 10 مبررات مشوّهة قبِلها النموذج.

لماذا يهم هذا؟

تشير النتائج إلى أن قناة المبررات ليست مجرد وسيلة لتحسين الدقة، بل هي سطح فشل جديد يمكن أن يغيّر أحكام التحقق دون أن يظهر ذلك في الإجابة النهائية. هذا يعني أن أنظمة «المُفكّر + المدقق» قد تبدو سليمة على مستوى المخرجات بينما تكون أحكام الدعم الداخلية قد انحرفت.

الفرق بين الدقة وأحكام الدعم

المقياس	مبرر صادق	مبرر مشوّه
دقة الإجابة	لا فرق يُذكر	تغيّر محدود (2–30%)
حكم الدعم	تغيّر ضئيل (0–2.5%)	تغيّر كبير (10–22%، وحتى 34–55%)
إدراك البشر	متوافق غالباً	البشر يرفضون 9 من 10

توصية الدراسة

تدعو الورقة إلى تقييم مشاركة المبررات كـ«آلية رسالة تحقق» بحد ذاتها، لا كطريق لرفع دقة الإجابات فقط، مع فحوصات عبر النماذج وحدود المهام لتحديد متى تكون القناة نشطة أو مُضخَّمة أو خاملة.

تنويه: هذا المقال يلخّص معلومات من المصدر المذكور. للأرقام والتواريخ الرسمية، راجع الرابط الأصلي. لا نضيف تفاصيل غير منشورة في المصدر.