إطار ECE للتحقق الانتقائي من الحقائق: دقة 97.8% مع خيار الامتناع عن الإجابة

نظرة عامة

أطلق باحثون إطار Evidence Chain Evaluation (ECE) للتحقق الانتقائي من الحقائق، الذي يسمح لنماذج اللغة الكبيرة (LLMs) بالامتناع عن الإجابة عند ضعف الأدلة أو تناقضها. على عكس الأنظمة التقليدية التي تجبر على إجابة ثنائية (صحيح/خطأ)، يقدم ECE حلاً أكثر أمانًا.

الأداء

على مجموعة بيانات ECE-Bench، حقق ECE:

• دقة قياسية: 91.6%
• تغطية: 93.7%
• دقة انتقائية: 97.8% على الإجابات المقدمة
• امتنع عن الإجابة في 6 من 95 حالة، معظمها (5/6) في حالات أدلة منخفضة الموثوقية.

المقارنة

بينما لا يتفوق ECE على أفضل خطوط الأساس في مقاييس المعايرة الكلية (مثل ECE أو Brier)، فإنه يوفر مفاضلة واضحة بين الدقة والتغطية، مما يجعله مناسبًا للتطبيقات الحساسة.

التطبيقات في الشرق الأوسط

يمكن استخدام ECE في:

• المؤسسات الإعلامية للتحقق من الأخبار.
• القطاع الحكومي لتدقيق المعلومات الرسمية.
• منصات التواصل الاجتماعي لمكافحة التضليل.

ملاحظة: هذه القصة تتطلب مراجعة بشرية للتأكد من دقة التفاصيل التقنية.