ينبثق نمط مقلق في الأبحاث الجديدة حول نماذج اللغة الكبيرة: تؤكد بثقة بيانات كاذبة حتى عندما تحذر بشكل صريح أن البيان خاطئ. اختبر الباحثون ما إذا كانت النماذج ستصحح نفسها عند إعطاؤها ملاحظات مباشرة. لم تفعل معظمها ذلك.
يسلط الاكتشاف الضوء على عدم تماثل في كيفية معالجة نماذج اللغة للمعلومات. تتفوق في مطابقة الأنماط والاستدلال الإحصائي، لكنها لا تفكر في التصحيح بالطريقة التي يفكر بها البشر. عندما يُخبر النموذج "هذا البيان خاطئ،" يفسره كسياق إضافي—رمز آخر في التسلسل—بدلاً من إلغاء منطقي. يستمر بتفكيره الخاطئ الأصلي.
هذا يهم للنشر في العالم الحقيقي. روبوتات الدردشة في خدمة العملاء، والمعلمون الاصطناعيون، وأنظمة دعم القرار تفترض جميعها بعض القدرة على التصحيح الذاتي. لكن إذا لم تستطع النماذج تحديث تفكيرها الداخلي بصراحة عند معارضتها، ينهار هذا الافتراض.
