تتحدى ورقة بحثية جديدة بعنوان 'Faithfulness Without Anchors' أساس مقاييس الذكاء الاصطناعي القابل للتفسير، مجادلة بأن المناهج الحالية لقياس دقة التفسير معيبة هيكلياً وتفشل في التقاط ما إذا كانت التفسيرات تعكس بدقة عمليات تفكير النموذج.
تجادل الورقة أن طرق أهمية السمات — المستخدمة على نطاق واسع لشرح قرارات نماذج الذكاء الاصطناعي في تطبيقات تتراوح بين التشخيص الطبي والإقراض المالي — تعاني من اختلالات أساسية تمنعها من التقاط ما إذا كان التفسير يعكس عملية تفكير النموذج الحقيقية بدقة. تحاول هذه الطرق تحديد السمات المدخلات التي أثرت أكثر على مخرجات النموذج، لكن الباحثين يوضحون أن تفسيرات متناقضة متعددة يمكن أن تكون equally 'faithful' تحت المقاييس الحالية.
يحدد الباحثون عدة مشاكل هيكلية: غياب مراجع الحقيقة الأساسية للمقارنة، مما يعني عدم وجود معيار موضوعي لقياس دقة التفسير؛ والحساسية للسمات غير ذات الصلة التي يمكن أن تشوه تصنيفات الأهمية؛ ونزعة طرق التفسير لإنتاج مخرجات تبدو معقولة لكنها مضللة ترضي المعايير الرياضية دون تقديم رؤى حقيقية في سلوك النموذج.
لنتائج لها تداعيات كبيرة على تنظيم ونشر الذكاء الاصطناعي. مع مطالبة الحكومات بشكل متزايد بقابلية التفسير لأنظمة الذكاء الاصطناعي عالية المخاطر — بما في ذلك قانون الذكاء الاصطناعي الأوروبي والتشريع الأمريكي المقترح — تشير هذه الأبحاث إلى أن مناهج الامتثال الحالية قد توفر ثقة زائفة في شفافية النموذج. المنظمات التي تعتمد على أدوات الذكاء الاصطناعي القابل للتفسير لتلبية المتطلبات التنظيمية قد تعمل تحت مفهوم خاطئ حول ما تثبته هذه الأدوات فعلاً.
يدعو فريق البحث إلى إعادة تفكير جذرية في كيفية مقاربة المجال للقابلية للتفسير، مقترحين أن المقاييس الحالية قد تقيس الخصائص الخاطئة تماماً. يقترحون أطر تقييم بديلة تركز على العلاقات السببية بدلاً من ارتباطات السمات، رغم أنهم يقرون بأن هذا يمثل تحولاً منهجياً كبيراً سيتطلب تحقلاً واسعاً.