Глоссарий
GGUF: формат одной файла для локальных моделей
Коротко: GGUF это бинарный формат файлов моделей для llama.cpp: метаданные, токенизатор и веса в одном файле с поддержкой mmap. Веса хранятся квантованными, схемы обозначаются тегами Q4_0, Q4_K_M, Q5_K_S, Q8_0, где число это средние биты на вес, а буква схема k-quants. Формат решил главную боль локального запуска: раньше модель была папкой из десятков файлов, теперь один файл, который отображается в память и запускается на CPU без установки окружений.
GGUF (GPT-Generated Unified Format) это то, что сделал формат общим для локального инференса: контейнер, в котором лежит всё нужное для запуска без стороннего стека.
Для инференса важен не сам формат, а схемы квантования внутри. k-quants делят веса на суперблоки и держат два уровня scale, что даёт более плотное распределение ошибки. Комбинации типа Q4_K_M и Q5_K_M стали стандартными точками выбора между памятью и качеством. CPU-инференс llama.cpp быстрый именно потому, что квантованные веса читаются из mmap и деквантуются в AVX2 кернелах: трафик памяти, главный лимит, ужимается в разы.