Тема: quantization

• 3 октября 2026 г.

  EXL3 на 8 ГБ: вечер с ExLlamaV3, который закончился кодбуком

  Замерить хотел одно, нашёл другое. Разбираю вечер с ExLlamaV3 на RTX 4060 8 ГБ: почему в 8 ГБ VRAM не влезает даже 2-битная 35B MoE, при чём тут кодбуки mcg и mul1, и почему движок молчит, когда фича не работает.