أجرى باحثون في مختبر ذكاء اصطناعي رئيسي دراسة شاملة لاختبار مدى جودة نماذج اللغات الكبرى المعاصرة في مقاومة التلاعب من خلال الدعاية والمطالبات المتحيزة والمدخلات المعادية. قيّمت الدراسة قدرة النماذج على الحفاظ على الدقة الواقعية والنزاهة المعرفية عند تعرضها لإطارات مضللة.
النتائج الرئيسية: بينما تحقق نماذج أحدث مثل Claude أداءً أفضل في اختبارات مقاومة الدعاية من إصدارات GPT الأقدم، تظهر جميع النماذج ضعفاً كبيراً عند المطالبة باللغات غير الإنجليزية أو عند مواجهة روايات دعائية خاصة بثقافات معينة. تسلط الدراسة الضوء على أن المتانة ليست خاصية ثنائية بل تختلف عبر السياقات.
الآثار خطيرة على نشر الذكاء الاصطناعي في السياقات السياسية والإعلامية والحكومية. يجب على المنظمات التي تخطط لاستخدام نماذج اللغات الكبرى للتحقق من الحقائق أو أدوات محو الأمية الإعلامية أن تأخذ في الاعتبار هذه القيود. يقترح البحث أن تطوير النموذج المستقبلي يجب أن يستهدف صراحة مقاومة الدعاية كمعيار تقييم.