PML-sRUN reads a model and the machine it is about to run on, and cuts the model the way llama.cpp can place it: each layer's attention, its feed-forward or its experts, the embeddings and the output. Each piece goes to the fastest place it fits -- the graphics card's memory, the computer's memory, or the disk, read through mmap when memory runs out.

In a mixture-of-experts model only a few experts work for each token, so the shared pieces go on the card and the experts stay with the processor, where the busy ones are kept in memory by the system itself. In a dense model every piece is needed for every token, so a small model of the same family drafts several tokens and the large one checks them in a single pass: the large model's pieces are read once for several tokens.

It then measures the arrangement it chose against its neighbours on the machine itself and keeps the fastest. Nimbus 2 Apex runs online with it, and the offline studio gets it next.

Released, 16 October 2026. PML-sRUN 0.3 is open under the MIT license: a control panel in the browser sets up llama.cpp for your machine, plans, measures and runs the model; the same is a command line. On a laptop with a 4 GB GTX 1050 Ti and a 7B coding model it wrote 7.4 tokens a second against 3.6 for llama.cpp on its own and 4.9 for Ollama, and 10.2 on code edits, where n-gram drafts guess ahead from the text already written. The offline studio 3.1 places its models with it.

PML-sRUN made by AhoosAI · MIT License.

PML-sRUN مدل و دستگاهی را که قرار است رویش اجرا شود می‌خواند، و مدل را همان‌طور که llama.cpp می‌تواند جای‌گذاری کند تکه می‌کند: توجه هر لایه، شبکه‌ی پیش‌خور یا متخصص‌های آن، جاسازی‌ها و خروجی. هر تکه به سریع‌ترین جایی می‌رود که در آن جا می‌شود: حافظه‌ی کارت گرافیک، حافظه‌ی کامپیوتر، یا دیسک، که وقتی حافظه تمام شود از راه mmap خوانده می‌شود.

در مدل ترکیب متخصص‌ها (MoE) برای هر توکن فقط چند متخصص کار می‌کنند، پس تکه‌های مشترک روی کارت می‌روند و متخصص‌ها نزد پردازنده می‌مانند، جایی که سیستم خودش پرکارها را در حافظه نگه می‌دارد. در مدل متراکم هر تکه برای هر توکن لازم است، پس یک مدل کوچک از همان خانواده چند توکن پیش‌نویس می‌کند و مدل بزرگ همه را در یک گذر بررسی می‌کند: تکه‌های مدل بزرگ برای چند توکن یک بار خوانده می‌شوند.

سپس چیدمانی را که انتخاب کرده با چیدمان‌های نزدیکش روی خود دستگاه اندازه می‌گیرد و سریع‌ترین را نگه می‌دارد. نیمبوس ۲ ایپکس با آن آنلاین اجرا می‌شود، و بعد نوبت استودیوی آفلاین است.

منتشر شد، ۲۴ مهر ۱۴۰۵. PML-sRUN 0.3 با مجوز MIT در دسترس است: یک پنل کنترل در مرورگر، llama.cpp مناسب دستگاه شما را نصب می‌کند، طرح می‌دهد، اندازه می‌گیرد و مدل را اجرا می‌کند؛ همین کارها از خط فرمان هم شدنی است. روی یک لپ‌تاپ با کارت ۴ گیگابایتی GTX 1050 Ti و یک مدل ۷ میلیاردی برنامه‌نویسی، ۷٫۴ توکن در ثانیه نوشت، در برابر ۳٫۶ برای llama.cpp به‌تنهایی و ۴٫۹ برای Ollama؛ و در ویرایش کد، که حدس n-gram از متن قبلی جلوتر را حدس می‌زند، ۱۰٫۲. استودیوی آفلاین ۳٫۱ مدل‌هایش را با آن جای‌گذاری می‌کند.

PML-sRUN made by AhoosAI · مجوز MIT.