TrnRT
محرك استدلال مفتوح المصدر لنماذج اللغة على AWS Trainium
زيارة الموقع ←عن الأداة
TrnRT هو محرك استدلال مفتوح المصدر لنماذج اللغة الكبيرة على معالجات AWS Trainium. يستخدم تقنية NKI megakernels — نواة مدمجة واحدة لكل نصف طبقة — ويحقق أداء عالي مع سياق يصل إلى مليون رمز. يوفر واجهة برمجة متوافقة مع OpenAI.
النموذج المدعوم حالياً هو GLM-5.3-Flash (٣٢٠ مليار معامل، ١٨ مليار نشط، FP8). المحرك يشغّل محركين على كل جهاز trn2.48xlarge، كل واحد يعمل بتوازي على ٣٢ نواة Neuron. يحقق ٣٫٥٧ مليون رمز في الدقيقة بسعر ٠٫٠٤٠ دولار لكل مليون رمز.
المشروع من RunAnywhere المدعومة من Y Combinator. كل الرسوم تُبنى مسبقاً على معالج عادي وجهاز الخادم يحمها فقط. المشروع برخصة Apache 2.0 ومفتوح لمزيد من النماذج.
مسودة بمساعدة الذكاء الاصطناعي، تُراجَع من إنسان قبل النشر — تعرّف على كيف نختار الأدوات ونراجعها.
لماذا اخترناها
أول محرك استدلال مفتوح المصدر لـ AWS Trainium بكامل المواصفات. يثبت إن المعالجات البديلة تقدر تنافس NVIDIA مع برمجيات مفتوحة. مهم لأي فريق يبحث عن بنية تحتية AI بأسعار معقولة.