يمثل EAGLE 3.1 أحدث تطور في الترميز التكهني للنماذج اللغوية، وهي تقنية تسرع الاستنتاج من خلال التنبؤ بمواضع رموز متعددة بشكل متزامن. يوضح التعاون بين فريق EAGLE وفريق vLLM وآخرين كيف يسرع البحث المفتوح قدرات AI العملية.
يعمل الترميز التكهني من خلال تنبؤ نموذج أصغر برموز المستقبل بينما يتحقق نموذج أكبر منها، مما يؤدي بشكل فعال إلى تشغيل كليهما بالتوازي. يقلل هذا النهج من الكمون بشكل كبير، مما يعالج أحد الاختناقات الحرجة في نشر النماذج اللغوية الكبيرة.
تعني الطبيعة المفتوحة المصدر لهذا العمل أن أي منظمة تقوم بتشغيل استنتاج النموذج اللغوي يمكن أن تستفيد. أصبح هذا النوع من عمل التحسين الأساسي، المدفوع بالبحث التعاوني بدلاً من التطوير الملكي، مهماً بشكل متزايد.
