Опубликовано
26B на игровой видеокарте: тест FreeToken
Автор: Гусев Николай [портфолио]
Дата обновления не указана в исходнике.
Темы: ai-agents, benchmarks, llm-api, local-models
26B на игровой видеокарте: тест FreeToken
Сложность: средняя
Хочется локальную модель класса 26B+, а в видеокарте 8 ГБ VRAM - плотная модель не влезает физически. Проверил движок FreeToken от команды уровня Berkeley: MoE-модель Gemma-4-26B живёт на RTX 4060 с пулом экспертов в обычной RAM. Цифры, грабли с драйвером и квантованием, пять сценариев где такой вариант реально нужен.
→ Читать на Telegra.ph: https://telegra.ph/26B-na-igrovoj-videokarte-test-FreeToken-08-22
🌐 hermes-agent.ru ℹ Хотите попробовать, но нет времени разбираться? Напишите в контакты на сайте - поможем с настройкой.