Тема: gpu
...и выкопал стюардессу
Комментарий читателя про HyperQwen и gpu-unlock: 2000 токенов в секунду prefill на 32K контекста одной 3090. Разбираем, откуда цифра, кому анлок реально поможет на 2080, 3090, 4060 Ti и 4090, почему 5070 Ti мимо, и при чём тут APU на 128 ГБ.
Bonsai 2 27B на RTX 4060: замер скорости, качества и контекста
Bonsai 2 27B на RTX 4060: живой замер скорости, качества и длины контекста. Влезает ли модель на 27 миллиардов параметров в 8 ГБ видеопамяти и какой ценой.