Опубликовано
Bonsai 2 27B в пайплайне: история одного разочарования
Автор: Гусев Николай [портфолио]
Дата обновления не указана в исходнике.
Темы: ai-agents, benchmarks, llm-api, local-models
Bonsai 2 27B в пайплайне: история одного разочарования
Сложность: средняя
Подключил тернарную 27B к Hermes-агенту и ждал ответа шесть минут - до первого токена. Разобрал по цифрам, почему так: ход агента весит 15-20к токенов, а prefill на 8 ГБ идёт 28 tok/s. Вывод: не диалог, а ночные прогоны, пакетная генерация и приватные документы на 64к.
→ Читать на Telegra.ph: https://telegra.ph/Bonsai-2-v-pajplajne-istoriya-odnogo-razocharovaniya-09-18-2
🌐 hermes-agent.ru 📦 Материалы и харнессы: GitHub - github.com/NikolayGusev-astra/channel-materials | GitFlic - gitflic.ru/manve-sulimo2/channel-materials ℹ️ Хотите попробовать, но нет времени разбираться? Напишите в контакты на сайте - поможем с настройкой и подбором сценария под ваши задачи. 🛠 Наши сервисы: pii-guard.ru | llm.pii-guard.ru | hermes-agent.ru | shturman.ai - сотрудничество и вопросы: TG @sneg1313