Глоссарий
Квантование весов: fp16 в int4 без смерти модели
Коротко: Квантование весов это перевод весов модели из fp16 или bf16 в целые числа малой разрядности, чаще int4, с сохранением масштаба через коэффициенты scale. Память весов падает в 3.5-4 раза, и вместе с ней падает главный ограничитель скорости декодинга: трафик чтения памяти. Простейшая рабочая схема групповое симметричное квантование: на группу из 32-128 весов один scale по максимуму амплитуды. Де-квантование происходит на лету внутри matmul-кернела.
Квантование это ставка инференса на то, что лимит системы не FLOPs, а память. Вес 7B-модели в fp16 это 14 ГБ, в int4 около 4 ГБ. Декодинг читает все веса на каждый токен, поэтому ускорение от квантования измеряется прямо в токенах в секунду, даже без GPU.
Схемы отличаются способом распределения битов. Symmetric groupwise: один scale на группу. k-quants в GGUF: суперблоки со вторым уровнем масштабов. Калиброванные (GPTQ, AWQ): выбор масштабов под статистику реальных активаций, что дороже в конвертации и точнее в выводе. Все они сходятся в один matmul-кернел с де-квантом на лету.