VRAM: видеопамять, которая решает, какая модель влезет на видеокарту

Коротко: VRAM (Video RAM) это память видеокарты, в которую при локальном запуске LLM загружаются веса модели, KV-кэш контекста и промежуточные вычисления. Именно VRAM, а не «мощность» GPU, определяет, какая модель поместится: модель в 4-битной квантизации весом 24 ГБ не запустится на карте с 16 ГБ, сколько бы ни было ядер. Практические ориентиры: 8 ГБ хватает на модели до ~9-14B в 4-бит, 16 ГБ до ~27B, 24 ГБ до ~32-70B. Память экономят квантованием, укорочением контекста и выгрузкой слоёв на CPU.