Опубликовано
Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в [нашем инференс движке](https://github.com/trymirai/uzu).
Автор: Гусев Николай [портфолио]
Дата обновления не указана в исходнике.
Темы: benchmarks, llm-news, local-models
Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в нашем инференс движке.
Для начала Qwen3.6 27B, поддержка Qwen3.8 27B и Muse Glimmer в пути.
Мы сильно превосходим все возможные стеки для Apple Silicon по производительности. Потому что взяли и все сделали как ко-дизайн: кернелы, квантизация и спекуляция. Все с нуля, все свое.
Попробовать можно уже сегодня M checkpoint - поменьше L checkpoint (lossless)
Все модели которые мы поддерживаем лежат тут, будем рады если попробуете что-то еще.
Бенчи тут. Можно изучить как и что измерено и насколько лучше.
Подробнее про релиз блог пост