IMCBench: معيار جديد لتقييم النماذج متعددة الوسائط في المحادثات الطبية

ما هو IMCBench؟

IMCBench هو معيار جديد لتقييم النماذج اللغوية متعددة الوسائط (MLLMs) في المحادثات الطبية التي تجمع بين الصور السريرية الحقيقية والملفات الشخصية للمرضى. يهدف إلى سد الفجوة بين المعايير الحالية التي تفتقر إما إلى الصور أو إلى المحادثات متعددة الجولات.

النتائج الرئيسية

اختبر الباحثون 8 نماذج من 4 عائلات: Claude وGPT وNova وLlama. حصل Claude Opus 4.6 على أعلى درجة (3.61 من 5)، يليه Claude Sonnet 4.6 (3.30) وGPT-5.2 (3.29). لكن لا نموذج تفوق في جميع الأبعاد، وانخفضت السلامة في الحالات الخبيثة والنادرة بمقدار 0.27 لكل منهما.

مقارنة الأداء

النموذج	الدرجة الكلية	ملاحظات
Claude Opus 4.6	3.61	الأفضل لكنه ليس آمنًا في الحالات الخبيثة
Claude Sonnet 4.6	3.30	أداء جيد لكنه أقل في السلامة
GPT-5.2	3.29	مشابه لـ Sonnet لكنه أفضل في الدقة
Nova	2.95	أداء متوسط
Llama	2.80	الأدنى لكنه مجاني

دراسات الإزالة

أظهرت دراسات الإزالة أن إزالة الصور يقلل السلامة بمتوسط 0.18، وإزالة السياق الطبي (EHR) يقللها بمتوسط 0.23. النماذج الأقوى تستفيد أكثر من الميزات البصرية.

التطبيقات في الشرق الأوسط

يمكن لمنظمات الرعاية الصحية في المنطقة استخدام IMCBench لتقييم النماذج قبل نشرها في أنظمة دعم القرار السريري، خاصة في البيئات التي تفتقر إلى الخبراء.

ملاحظة للمراجعة البشرية: تم تلخيص النتائج من الورقة الأصلية بدقة، مع التركيز على الجوانب العملية للمنطقة.