تؤكد دعوى قضائية قدمتها ناجية من إطلاق نار في مدرسة أن نظام كشف إطلاق الرصاص بالذكاء الاصطناعي حددها خطأ كتهديد، مما أدى إلى عواقب ضارة. تدور القضية حول سؤال أساسي: كم يجب أن تكون أنظمة الذكاء الاصطناعي موثوقة قبل نشرها في قرارات الأمان العالية المخاطر؟
يتم نشر أنظمة كشف الذكاء الاصطناعي بشكل متزايد في المدارس كجزء من بنية الأمان. تعد هذه الأنظمة بتحديد التهديدات أسرع من الملاحظين البشريين. لكن دقتها في الظروف الحقيقية — مع الضوضاء الصوتية والاختلافات البيئية والحالات الحدية — تبقى موضع نزاع.
تؤكد الناجية أن إيجابية خاطئة من نظام الذكاء الاصطناعي ألحقت الضرر بسمعتها وسببت ضائقة عاطفية. يؤكد المدعى عليه أن النظام كان يعمل كما هو مصمم وأن مقاييس الدقة الكلية في نطاقات مقبولة.
تسلط القضية الضوء على فجوة حرجة في حوكمة الذكاء الاصطناعي: لا توجد معايير محددة لمستويات الدقة المقبولة الحد الأدنى في تطبيقات سلامة الحياة. ما مستوى الدقة الذي يبرر نشر أنظمة الذكاء الاصطناعي في المدارس؟ 99٪؟ 99.5٪؟ ومن يتحمل التكلفة عندما تفشل الأنظمة؟