اصطدم السباق لبناء نماذج ذكاء اصطناعي أكبر وأكثر قدرة بالواقع الاقتصادي: تكلفة الرموز — الوحدات الأساسية للحساب في النماذج اللغوية — تصبح باهظة الثمن بشكل مزعج.
يصف المطلعون من الصناعة أزمة متنامية حيث كل استدلال، كل تشغيل تدريب، كل تكرار ضبط يستهلك الرموز بمعدلات أسية. ممرة استدلال واحدة على مشكلة معقدة يمكن أن تكلف دولارات. انشر ذلك عبر ملايين المستخدمين، وميزانية الرموز تنفجر بما يتجاوز نماذج الإيرادات.
هذا ليس عدم كفاءة مؤقتة. الرياضيات الأساسية لمعمارية المحول — الأساس لكل نماذج LLM الحديثة — يتطلب استهلاك رموز تربيعي بالنسبة لطول السلسلة. مع تعامل النماذج مع سياقات أطول واستدلال أكثر تعقيداً، تنمو التكاليف بشكل غير خطي.
يقترح بعض الباحثين ابتكارات معمارية لتقليل استهلاك الرموز: فك التشفير المضاربة، التقليص، تقطير المعرفة. لكن السؤال الأساسي يبقى: هل يمكن للاقتصاديات أن تتوافق؟ أم أننا نتجه نحو إعادة حساب حيث لا يمكن إلا لأغنى الشركات تحمل تكاليف تدريب ونشر نماذج الحدود؟
