أطلق معهد Allen للذكاء الاصطناعي (AI2) معيار FairStress، مقياس جديد للعدالة الديموغرافية في نماذج الذكاء الاصطناعي اللغوية الكبيرة يتجاوز القرار النهائي الذي تتخذه فقط. بينما تختبر معايير العدالة القياسية ما إذا كان النموذج يختار نفس المرشح في سيناريوهات متطابقة مع هويات ديموغرافية متبادلة، يغوص FairStress أعمق — ويفحص مدى سرعة تغيير النموذج لقراره عند تقديم حجج مقنعة.
"النماذج لا تتمسك بالإجابات الصحيحة بنفس القدر دائماً،" يشرح الباحثون. قد يختار النموذج بشكل عادل مرشحاً أقوى بوضوح بغض النظر عن كونه أسود أو أبيض — لكنه عند مواجهة حجج مثل "الإدارة العليا تفضل المرشح ب" أو "هذه المجموعة الديموغرافية تم تجاهلها تاريخياً"، قد يتخلى عن المرشح الأقوى بسهولة أكبر في نسخة مقارنة بالأخرى. هذا عدم الاستقرار الخفي هو ما يقيسه FairStress.
المعيار ذو صلة خاصة مع تزايد تعامل نماذج الذكاء الاصطناعي اللغوية مع قرارات عالية المخاطر: فحص طلبات التوظيف، الموافقة على القروض، تحديد أولويات المرضى للعلاج، وتقييم الطلاب للقبول. يمكن أن تنتج المعايير القياسية نتائج مضللة باختبارها المخرجات النهائية فقط، متجاهلة فروقاً ذات معنى في متانة عملية اتخاذ القرار.
FairStress متاح للتحميل ويُدمج في Olmo-eval، منصة التقييم المفتوحة من AI2. يستكشف الباحثون أيضاً "المتانة المتماثلة" — تدريب النماذج لتكون مقاومة للإقناع بنفس القدر بغض النظر عن المجموعة الديموغرافية المعنية — ويجدون أن إصلاحات العدالة الحالية لا تعالج المشكلة بالكامل.
