Опубликовано
Бонус: колибри кормит кита - 744B локально на 16-24 GB VRAM
Автор: Гусев Николай [портфолио]
Дата обновления не указана в исходнике.
Темы: ai-agents, benchmarks, llm-api, local-models
Бонус: колибри кормит кита - 744B локально на 16-24 GB VRAM
Сложность: средняя
Проект colibri запускает фронт-модели 2026 года (GLM-5.2 744B, DeepSeek V4 Flash, Qwen3.6) на обычном железе: эксперты стримятся с NVMe как JIT-компиляция весов. Внутри сравнение с FreeToken, спекулятивный декодинг в LM Studio и честные цифры от 0.05 до 6.8 tok/s. Бонус в двух частях.
→ Читать часть 1: https://telegra.ph/Bonus-kolibri-kormit-kita-CHast-1---744B-lokalno-na-16-24-GB-VRAM-09-04-5
→ Часть 2 (FreeToken и спекуляция): https://telegra.ph/Bonus-kolibri-kormit-kita-CHast-2---FreeToken-spekulyativnyj-dekoding-09-04-5
🌐 hermes-agent.ru 📦 Материалы и харнессы: GitHub ℹ Хотите попробовать, но нет времени разбираться? Напишите в контакты на сайте - поможем с настройкой и подбором сценария под ваши задачи. 🛠 Наши сервисы: pii-guard.ru | llm.pii-guard.ru | hermes-agent.ru | shturman.ai - сотрудничество и вопросы: TG @sneg1313