أطلقت Microsoft وHugging Face إطار تقييم يُدعى ThinkingBox، يقيّم وكلاء الذكاء الاصطناعي بناءً على السجلات التي يتركونها — لا الجمل التي يُنتجونها. وتشغّل الأداة الوكيل ضد جلسات أدوات معزولة، ثم تقيم حالة النظام الخلفي النهائية والتأثيرات الجانبية التي يُنتجها.
والفكرة الأساسية واضحة: الوكيل الذي يقول «حجزت الرحلة» ليس كالوكيل الذي حجزها فعلاً. معظم أطر التقييم تختبر ما إذا كان ناتج النموذج يبدو صحيحاً. أما ThinkingBox فتختبر ما إذا كان العالم تغيّر بالطريقة التي ادعاها الوكيل.
ويكتب الفريق: «استدعاء الأداة ليس نتيجة. والنجاح الواحد ليس موثوقية. هل يمكنك الاعتماد على النموذج وراء وكيلك؟ وما هي تكلفة الاتساق?»
وتُشغّل ThinkingBox كل وكيل عبر حلقات متعددة — يقترح البحث عشرين — وتقيس ليس فقط ما إذا نجح الوكيل، بل ما إذا نجح بشكل متسق. ويُنتج الإطار حدود تكلفة باريتو: المقايضة بين السعر والموثوقية. فالوكيل الذي ينجح بنسبة 95% لكنه يكلف ضعف وكيل ينجح بنسبة 80% هو منتج مختلف، والمشترون بحاجة لرؤية هذا المنحنى.
الإطار متاح عبر Hugging Face ويمكن تشغيله محلياً. ويدعم جلسات أدوات MCP وخوادم OpenEnv، ونشر الفريق التقرير التقني الكامل مع الإطلاق.
وبالنسبة للمؤسسات التي تنشر وكلاء ذكاء اصطناعي، تعالج ThinkingBox فجوة أرقت فرق الإنتاج: الفرق بين عرض توضيحي يعمل ونظام يعمل في كل مرة. فإذا كان وكيلك يحجز الرحلات بشكل صحيح 19 من أصل 20 مرة، فليست تلك نسبة نجاح 95% — بل تذكرة دعم فني في الانتظار.