Bonsai 2 в пайплайне: история одного разочарования

Джилл и разочарование: скепсис по адресу бонсая

Сложность: средняя

В прошлой части я подключил Bonsai 2 27B к Hermes-агенту, задал обычный

вопрос и ждал ответа шесть минут. К первому токену. Это не баг и не кривые

руки - ниже замеры, что происходит на каждом ходу агента, и вывод: где

медленная локальная модель реально встанет в пайплайн, а где её ставить

не надо.

Шесть минут до первого слова

Что происходит на каждом ходу Hermes-агента? Считаем промпт: системные

инструкции и правила - 3-5 тыс. токенов. Активные скиллы - 2-5 тыс.

Память - ещё столько же. Описания инструментов - до 2 тыс. История

сессии - весь разговор. Итог: ход агента весит 15-20 тысяч токенов ещё

до содержимого вопроса.

У Bonsai 2 prefill на этом диапазоне идёт 28-31 tok/s. Сервер прочитал

12288 токенов за 437 секунд. Полный агентский ход - 8-10 минут до

первого токена ответа. Сам ответ печатается быстро, 9-10 tok/s, но

барьер не в ответе, а в чтении.

Первое разочарование: как модель для живого диалога она не работает.

Человек задаёт вопрос и минуты смотрит на пустой экран: prefill не

закончился, ответ ещё даже не начался. Это не баг, а арифметика: у

локальной 27B на 8-гигабайтной карте prefill идёт со скоростью, которую

в диалоге ждать не станешь.

Что говорят замеры во второй части (факты, не ощущения)

• medium против xhigh: factcheck 60 -> 85%, format 75 -> 83,3%,

writing и reasoning без изменений (ограничение модели, не режима)

• декод 9,5 tok/s, латентность 105 с на задачу, 38/38 задач с ответом

• prefill падает с каждым удвоением окна: 16к = 32,9 tok/s,

32к = 27,5, 65к = 20,6; точка 131к за разумное время не завершилась

• живой ход Hermes-агента 15-20к токенов: 8-10 минут ожидания

Куда медленная, но умная модель встаёт в пайплайне

После этого разочарования настоящая роль модели видна лучше: не диалог,

а фоновые задачи, где десять минут на запрос - норма.

Первое - ночные прогоны. Эвалы, бенчи, грейдинг промптов. Запустил прогон на вечер,

утром готовый отчёт. Латентность 105

секунд на задачу на одной карте - это сотни задач за ночь.

Второе - пакетная генерация с коротким промптом. Посты, письма, форматы,

JSON. При окне 6-7к токенов prefill занимает 2-4 минуты - обычное дело

для очереди задач.

Третье - разбор длинных приватных документов. Договор, лог, регламент

на 64к токенов модель читает целиком за 20-30 минут и отвечает на

вопросы с качеством 27B. Для инженерных пайплайнов, где вход - большой

офлайн-контекст, а выход - структурированный вывод, это рабочая точка.

Четвёртое - всё приватное. 152-ФЗ, NDA, код под NDA, персональные

данные: модель работает на локальной машине, ничего не уходит наружу. В Hermes

она подключается как провайдер на 127.0.0.1:8601 - обычный OpenAI-совместимый

эндпойнт, никаких расширений.

Итог

Обещание "27B класс на домашней карте" выполнено: тернарная упаковка

экономит память, гибридное внимание удерживает контекст, формат PTQ1_0

работает на RTX 4060. Но в живом диалоге её ждать не стоит:

prefill 15-20к токенов на каждый ход - это восемь-десять минут тишины

между вопросом и ответом.

Роль этой модели - ночной монтажёр пайплайна, а не живой собеседник:

медленная, умная, дисциплинированная, никогда не устаёт, ничего не

сливает. Для этого она и была сделана.

Прогоню - дополню.