oMLX

خادم LLM على Mac يقلل زمن الانتظار من ٩٠ ثانية إلى ٥ بذاكرة KV مستمرة

عن الأداة

oMLX يحوّل Mac إلى خادم استدلال LLM كامل يعمل من شريط القوائم. يخدم نماذج النص والرؤية وOCR والتضمين وإعادة الترتيب مع تجميع مستمر، بالإضافة إلى ذاكرة KV متدرجة بين RAM وSSD تنجو من إعادة التشغيل. النتيجة: Claude Code وCursor يستجيبان خلال ٥ ثوانٍ بدلاً من ٩٠ عند استخدام النماذج المحلية.

الابتكار الأساسي هو ذاكرة KV المستمرة. عندما يعود الوكيل بسياق لاحق، معظم الإعدادات المحلية تعيد حساب المحادثة بالكامل من الصفر. oMLX يكتب ذاكرة KV إلى SSD فيعود السياق القديم بالميلي ثانية حتى بعد إعادة التشغيل.

مبني بـSwift الأصلي وليس Electron. يدعم APIs متوافقة مع OpenAI وAnthropic فيندمج مباشرة في أدواتك الحالية. مفتوح المصدر برخصة Apache 2.0 على GitHub مع أكثر من ٢١ ألف نجمة.

مسودة بمساعدة الذكاء الاصطناعي، تُراجَع من إنسان قبل النشر — تعرّف على كيف نختار الأدوات ونراجعها.

لماذا اخترناها

دخل oMLX القائمة برقم محدد وقابل للتحقق؛ خفض وقت انتظار الوكيل المحلي من تسعين ثانية إلى خمس، وذاكرة KV المؤقتة الدائمة التي تنجو من إعادة التشغيل تستحق الذكر كالهندسة الفعلية خلف هذا الرقم، لا ادعاءً تسويقياً فقط.

عن الأداة

لماذا اخترناها

أدوات مشابهة