النماذج اللغوية الثلاثية تخزن كل وزن كإحدى ثلاث قيم: -1 أو 0 أو +1. الحد الأدنى نظرياً من منظور نظرية المعلومات هو log2(3)، أي حوالي 1.58 بت لكل وزن. لكن ورقة جديدة من باحثي Intel تُظهر أن النماذج الثلاثية الحقيقية بعيدة كل البعد عن الانتظام — وأن هذا عدم التنظر يمكن استغلاله لتخزين الأوزان بشكل أكثر إحكاماً.
قام الباحثون بقياس التوزيع الفعلي للرموز عبر 29 نموذجاً لغوياً ثلاثياً ووجدوا أن الأصفار تشكل حتى 51.5 بالمئة من جميع الأوزان. هذه هي الفكرة المحورية: معاملة الرموز الثلاثة على أنها متساوية الاحتمال تهدر مساحة التخزين لأن التوزيع يميل بشدة نحو الصفر.
يقدم الباحثون BITCOS، تخطيطاً تكيفياً يتكون من خريطة بت كثيفة للوجود ومتجه إشارات مضغوط. التكلفة هي 2 ناقص z بت لكل عنصر وزن، حيث z هي كثافة الأصفار. على أكثر النماذج اختباراً من حيث الندرة، يحقق BITCOS 1.485 بت لكل وزن — أقل من السقف النظري البالغ 1.58 بت الذي يفترض رموزاً متساوية الاحتمال.
أبعد من ضغط التخزين، يتيح BITCOS حسابات أسرع. قدم الباحثون تسلسلات فك تعبئة محسنة لمعماريات AVX-512 وAVX2 ومعالجات Intel Xe2 الرسومية. مقابل أفضل نوى ضرب مصفوفة-متجه ثلاثية إنتاجية، يحقق BITCOS تسارعاً يصل إلى 1.28 مرة. اختبارات الاستدلال الشاملة عبر خمس منصات تُظهر تحسناً في إنتاجية فك التشفير يصل إلى 1.18 مرة على المعالجات المركزية و1.27 مرة على الرسومية.
بالنسبة لسعي صناعة الذكاء الاصطناعي نحو استدلال أكثر كفاءة، هذا mattered: النماذج الثلاثية تُنشر بالفعل على نطاق واسع، وأي خفض في عرض نطاق الذاكرة أو تكلفة الحوسبة يحسّن اقتصاديات تشغيل النماذج اللغوية الكبيرة مباشرة.