26B на игровой видеокарте: тест FreeToken

26B на игровой видеокарте: тест FreeToken - движка для тех, кому нужна умная модель, а не апгрейд железа

Ситуация знакомая

Хочется локальную модель, которая держит в голове большой документ и не теряет логику на многоходовых задачах. Это модели класса 26B+. Открываешь требования: плотная 26B даже в 4-битном квантовании весит 15-16 ГБ. В твоей RTX 4060 - 8 ГБ VRAM. Не влезает, и всё.

Обычный совет: "возьми модель поменьше". Но у мелких моделей есть предел, который не лечится промптами: на длинном контексте они теряют логические связи, выдумывают детали, следуют не всем инструкциям сразу.

Что такое FreeToken

FreeToken - открытый (Apache-2.0) inference-движок от исследовательской группы с авторами уровня Ion Stoica и Matei Zaharia ( arXiv:2608.16157, август 2026 ). Он заточен под MoE-архитектуры - Mixture of Experts, "смесь экспертов".

Суть MoE: у модели 26 миллиардов параметров, но на каждый токен работают только 4 миллиарда. Остальные - спящие "эксперты", из которых маршрутизатор выбирает несколько под конкретный токен.

Классический inference требует всю матрицу весов в видеопамяти. FreeToken это обходит: пул экспертов лежит в обычной RAM, горячие кэшируются в VRAM, промахи долетают по PCIe или досчитываются на CPU. Модель может быть "толстой" на диске и "тонкой" по требованию.

Эксперимент

Железо: RTX 4060 8 ГБ, 32 ГБ обычной RAM, Windows 11.

Модель: Gemma-4-26B-A4B NVFP4 - официальная квантованная версия от NVIDIA. Пул экспертов ~12 ГБ, суммарный чекпоинт 16 ГБ.

Установка: инсталлятор с сайта проекта ( 6 МБ ), он сам разворачивает окружение. Чекпоинт конвертируется в формат FTW за полминуты командой ft checkpoint. Запуск сервера - одна команда, на выходе OpenAI-совместимый API на localhost.

Первая попытка запуска упала с ошибкой про нехватку памяти. Дефолтные настройки рассчитаны на карты побогаче, для 8 ГБ нужно вручную указать параметры кэша:

`ft serve --model <путь> --memory-ratio 0.88 --moe-cache-size 256 --num-pages 512`

Вторая деталь, на которой я потерял время: движку нужен драйвер NVIDIA 580+ ( CUDA 13 ). На старом драйвере конвертер падал сегфолтом без внятной ошибки.

Цифры

Генерация связного текста: 4-12 токенов в секунду в зависимости от длины ответа ( первые токены медленнее из-за прогрева экспертных банков ). На коротких ответах быстрее, на длинных рассуждениях скорость проседает - гибридный режим то и дело ходит за экспертами в RAM.

Для сравнения: плотная 27B модель ( например Qwen3.8-27B в 4-битном GGUF, ~17 ГБ весов ) на LM Studio с этим железом вообще не помещается в VRAM - движок выгружает слои в RAM и считает часть на CPU. Запустится, но скорость будет 3-7 tok/s с рывками: каждый токен таскает гигабайты весов между памятью и картой. И качество ниже - 27B dense слабее 26B MoE в рассуждениях. Разница подходов: LM Studio грубо режет модель на части по слоям, FreeToken умно держит в VRAM только горячие куски.

VRAM после загрузки: занята практически вся, свободно менее 100 МБ. RAM: около 14 ГБ под пул экспертов. Параллельные GPU-задачи ( OCR, генерация картинок ) на время работы невозможны.

Проверил качество практикой: попросил модель саму описать её сильные стороны относительно мелких моделей, затем дал задачу на анализ гипотетического техзадания. Ответ структурированный, без воды, с конкретикой уровня "на странице 5 один стандарт напряжения, на странице 38 - другой, противоречие делает первую часть невыполнимой". Мелкая модель такой связи не увидит - она просто выпишет оба факта отдельно.

Где это реально нужно

Разбор длинных документов. Техзадания на 40 страниц перед оценкой проекта, договоры, регуляторные требования. Модель 3B пропустит скрытое противоречие между разделами; 26B его найдёт. Для инженера, читающего ТЗ перед сдачей оценки - разница между "увидел проблему до подписания" и "узнал о ней после".

Архитектурное код-ревью. Мелкая модель укажет на опечатку в имени переменной. 26B скажет: "этот паттерн сломается при конкурентном доступе вот почему" - и объяснит почему.

Агентные сценарии с инструментами. Когда модель вызывает функции, получает результаты и решает следующий шаг, качество рассуждений определяет, дойдёт ли агент до цели или начнёт выдумывать несуществующие аргументы API.

Приватность без компромисса. Медицинские документы, персональные данные, коммерческая тайна - то, что нельзя отправить в облачный API. Раньше выбор был между "отправить" и "терпеть качество 3B". Теперь третий вариант.

Демонстрация заказчику. Локальная модель 26B-класса на игровой видеокарте - нагляднее любого слайда о том, что локальный ИИ уже здесь.

Ограничения

Проекту три недели. GUI в статусе беты, известные модели из списка совместимых работают как задумано, сторонние чекпоинты - лотерея. Я проверил на себе: abliterated-версия Gemma от комьюнити сконвертировалась без ошибок, но генерировала бессмысленный текст - формат упаковки весов у неё другой, хотя названия форматов совпадают. Официальные чекпоинты NVIDIA работают предсказуемо.

Скорость. 10 tok/s достаточно для чтения и фоновых задач, но интерактивное программирование утомляет. Для быстрых запросов нужна вторая мелкая модель.

RAM важнее VRAM. Объём обычной памяти определяет потолок размера модели: 32 ГБ тянет модели до ~30B, для больших нужно 64+. Апгрейд RAM дешевле апгрейда видеокарты, но это тоже деньги.

Монополия на GPU. Во время работы FreeToken другие CUDA-задачи не запустить. Планирование: тяжёлая сессия - потом мультимедиа.

Вывод

Если задача требует качества 26B-класса локально, а бюджет на новую видеокарту пока не выделен - FreeToken рабочий вариант. Не замена облаку для интерактива, но полноценный инструмент для документов, ревью и агентных сценариев.

Проверял на Windows 11 + RTX 4060 8GB + 32GB RAM. Движок: flashml.ai, код Apache-2.0 на GitHub ( FlashML-org/FreeToken ).