Тема: llm
...и выкопал стюардессу
Комментарий читателя про HyperQwen и gpu-unlock: 2000 токенов в секунду prefill на 32K контекста одной 3090. Разбираем, откуда цифра, кому анлок реально поможет на 2080, 3090, 4060 Ti и 4090, почему 5070 Ti мимо, и при чём тут APU на 128 ГБ.
На CPU Q4_K_M сократил время обработки документа на 22%
Это пятая часть серии про спекулятивное декодирование и оптимизацию локального инференса: Часть 1 - четыре метода на RTX 4060 Часть 2 - DFlash и граница применимости Часть 3 - EAGLE-3, acceptance 0.
Словарь LLM: от цепи Маркова до каталога моделей
Подписчик написал: «Коля,очень интересно, но ничего не понятно, "я ничего не понял, но ты достучался до моего сердца" буквально :) "». Справедливо.
От 96K до следующей лаборатории: Lucebox, EAGLE-3, MLX и ROCm
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1, часть 2 - DFlash, часть 3 - EAGLE-3.
DFlash 2: ускоряет код в 1.8 раза и роняет документы в 0.25 - где проходит граница
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1 - общая картина, часть 3 - EAGLE-3, часть 4 - 96K и Lucebox.
EAGLE-3 на 4060: acceptance 0.17 при любой квантизации - домен решает, не битрейт
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1, часть 2 - DFlash, часть 4 - 96K и Lucebox.
Granite Switch 4.1 — универсальный солдат?
ASR — Automatic Speech Recognition, то есть автоматическое распознавание речи: технология, которая превращает аудиозапись в текст. В Granite Switch за этот этап отвечает Granite-Speech-5.
Проверяем спекулятивное декодирование на одной RTX 4060: четыре метода, ноль API
Спекулятивное декодирование на одной RTX 4060: четыре метода без единого API, живой замер скорости и качества и честные выводы, где выигрыш реальный, а где маркетинг.
Почему при доступности фронтирных LLM их использование не всегда оправдано, или "Не забиваем гвозди микроскопом"
Фронтирная модель на всех задачах подряд: эксперимент с GPT-6.1 Sol в роли рантайма и скриптов. Где оправдана, где это гвозди микроскопом и во сколько обходится не тот инструмент.
EXL3-2: тысяча квантов, один подходит. Учимся считать бюджет до закачки
В первой части я похоронил ExLlamaV3 на 8 ГБ: релиз с кодбуком mcg молча не выгружает экспертов, и 35B MoE падает по памяти. Обещал продолжение - вот оно.
EXL3 на 8 ГБ: вечер с ExLlamaV3, который закончился кодбуком
Замерить хотел одно, нашёл другое. Разбираю вечер с ExLlamaV3 на RTX 4060 8 ГБ: почему в 8 ГБ VRAM не влезает даже 2-битная 35B MoE, при чём тут кодбуки mcg и mul1, и почему движок молчит, когда фича не работает.
Четыре decision-модели за неделю: Jev-класс вышел из тупика
За неделю в открытых весах появились пять моделей одного класса: Cloudflare Clef и Clef-Flash, OmniJev OneJev (линейка 0.
Подсветка кода за 27 килобайт: gpu-lexer учит браузер понимать любой язык
Vercel выложил gpu-lexer - синтаксическую подсветку без грамматик: крошечная модель, обученная размечать код, работает в браузере через WebGPU. Вся модель - 41 321 вес по 6 бит, 27,64 КиБ в Brotli.
YandexGPT-5-Lite-8B как генератор над выдачей: третья часть цикла про домашний Perplexity
В первой части цикла я собрал добычу: SearXNG ищет, Camoufox достаёт контент из-под антибота. Во второй - сравнил пять локальных моделей над грязной поисковой выдачей: быстрый qwen3.