Глоссарий
GGUF и квантование: как 54-гигабайтная модель влезает в 6 ГБ
Коротко: GGUF — формат файлов для запуска LLM через llama.cpp и LM Studio на потребительском железе. Квантование снижает разрядность весов с 16 бит до 2–8, чтобы модель влезла в видеопамять: 27B-модель весом ~54 ГБ после тернарного квантования занимает 5,95 ГБ и сохраняет около 98% исходного качества. Чем агрессивнее квант (Q2–Q8), тем меньше нужно VRAM — и тем сильнее деградация на сложных задачах; Q4_K_M остаётся рабочим дефолтом для моделей 7–9B.
Бартовски не придумывает модели — он берёт открытые веса, проверяет их в llama.cpp и выпускает квантованные версии. Его витрина — главный индикатор того, что реально запускают дома: компактные кванты качают чаще, чем максимальные.
Уровни, которые имеют значение
Q8 — «почти без потерь», Q6 — заметная экономия, Q4_K_M — рабочий дефолт, Q2/тернарные — экспериментальная территория, где бенчмарки обманчивы: 98,2% исходного интеллекта на тестах и провал на длинном контексте — не противоречие, а разница между замером и задачей.
Проверка на своём железе
Бенчмарк — наводка. Стандартная процедура: скачать Q4_K_M, прогнать 38 задач своего цикла, сравнить с тем, что обещали карточка и таблицы. Так мы ловили и подтверждённые наполовину заявления PrismML, и живые скорости FreeToken.