Тема: local-models
Платоновская гипотеза стала теоремой
Авторы октябрьской статьи Balestriero и LeCun доказали то, что все подозревали и никто не мог доказать: разные модели, обученные на разных модальностях, приходят к одному представлению мира. И главное
На CPU Q4_K_M сократил время обработки документа на 22%
Это пятая часть серии про спекулятивное декодирование и оптимизацию локального инференса: Часть 1 - четыре метода на RTX 4060 Часть 2 - DFlash и граница применимости Часть 3 - EAGLE-3, acceptance 0.
Проверяем спекулятивное декодирование на одной RTX 4060: четыре метода, ноль API
Спекулятивное декодирование на одной RTX 4060: четыре метода без единого API, живой замер скорости и качества и честные выводы, где выигрыш реальный, а где маркетинг.
Бартовски за неделю упаковал девять моделей. Две уже стали хитами
За неделю Бартовски упаковал в GGUF девять свежих моделей, две из них сразу стали хитами. Что это за релизы и как их запускать локально на обычных потребительских картах.
YandexGPT-5-Lite-8B как генератор над выдачей: третья часть цикла про домашний Perplexity
В первой части цикла я собрал добычу: SearXNG ищет, Camoufox достаёт контент из-под антибота. Во второй - сравнил пять локальных моделей над грязной поисковой выдачей: быстрый qwen3.
Qwen-Image-2.1 на RTX 4060: текст, прозрачность, референсы
## Qwen-Image-2.1 на RTX 4060: текст в кадре, прозрачность и референсы вместо IP-Adapter…
Четыре эвала для модели решений: Jev в бою
Jev не пишет текст - возвращает типизированные вердикты с вероятностями.…
Любовь - это русские придумали, чтобы денег не платить: добиваем бесплатных Бертов до платного Jev
В прошлой части laya уступала Jev в калибровке, и ответ был "плати за то, что сделали за тебя". Спойлер: не обязательно.
Любовь - это русские придумали, чтобы денег не платить, или как добить бесплатных Бертов до платного Jev
В прошлой части ответ был "плати за калибровку". Спойлер: не обязательно.
Bonsai 2 в пайплайне: история одного разочарования
…
Bonsai 2 27B на RTX 4060: замер скорости, качества и контекста
Bonsai 2 27B на RTX 4060: живой замер скорости, качества и длины контекста. Влезает ли модель на 27 миллиардов параметров в 8 ГБ видеопамяти и какой ценой.
Я тут, короче, помогаю одним активистам-экологам. Им нужно по фотографии хвоста понимать, какого именно кита они встретили. Не получить бесценный ответ «на снимке кит», а отличить Стаса от Петра и связать новую встречу с конкретной особью. Для начала у меня было шесть фотографий — не шесть тысяч и не шесть на каждого кита, а вообще шесть.
И я прямо представил, как красиво эту задачу можно продать. Сначала объясняем экологам, что без репрезентативного датасета ничего не получится, поэтому следующие два года они будут фотографировать китов.
Diff недели: агентные тесты новых моделей на RTX 4060
Неделю назад я проверил десять моделей на девяти агентных тестах и нашёл лидера для русскоязычного локального агента.…
State и поиск: от замера до пул-реквеста в Hermes Agent
В четвертой части я закончил на рабочем пункте: session_search должен уметь искать не только по content, но и по полю reasoning. Тогда это было следствием замера на живой сессии.…
State вместо истории: как малая модель с окном 32k тянет многоходовый чат
Проверил на своей 4060 три механики длинных сессий: классический ReAct со сквозным транскриптом, SKILL.
125B на одной RTX 4090: AirLLM принес к костру модель весом 360 ГБ
## 125B на одной RTX 4090: AirLLM принес к костру модель весом 360 ГБ…
Что реально качают из коллекции Bartowski
Что реально качают из коллекции Bartowski GGUF-квантов и что это значит для локального запуска…
ИИ - это не только кодописание. Часть 1: выбирать модель по задаче, а не по HumanEval
Закон об ИИ перевёл выбор модели из гонки бенчмарков в инженерную задачу: класс задачи, контур данных, локализация. Разбор Alice AI-T5-35B-A0.
Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в [нашем инференс движке](https://github.com/trymirai/uzu).
Для начала Qwen3.
Десять локальных моделей на RTX 4060: кто годится в агенты
Сложность: средняя…
Локальные LLM на Android: что и зачем реально можно гонять на телефоне
В прошлой статье я разбирал K2 Horizon - флот открытых моделей из ОАЭ с аудитом на reward hacking, который лаборатория провела над собой. Тогда я зацепился за младшую модель линейки: 0.
Модель в кармане как архивариус: мелкие LLM для порядка в телефоне
У тебя в телефоне есть маленькая модель (1-4B, как я разбирал раньше - она влезает в любой Android с 6 GB RAM), и есть телефон, в котором за годы жизни накопился хаос: фотографии по трём галереям, кни…
Библия попаданца: влезет ли вся наука в телефон
Мы с женой вчера обсудили классический сценарий "попаданца": если вдруг в прошлое, то электричество я худо-бедно добуду, а вот с остальным - химия, медицина, точные технологии - будет сложнее.…
Диспетчер за полтора гигабайта: локальный оркестратор для AI-агента на MiniCPM5-2B
Джилл разруливает: очередь, сортировка, делегация, подача, экономия, смена закрыта…
Нейросети пришли в игры без зрения: как моды превращают CK3 в настолку с живым мастером
Мне прислали пост моего друга Александра Погольского из ВК. Прочитал, проверил по первоисточникам и понял, что тема интереснее, чем кажется из поста.
Бонус 2. Комикс по ТЗ на 8 GB VRAM: три попытки и найденный метод
## Бонус 2. Комикс по ТЗ на 8 GB VRAM: как мы искали идеальный пайплайн…
Бонус: колибри кормит кита. Часть 1 - 744B локально на 16-24 GB VRAM
## Бонус: колибри кормит кита - 744B локально на 16-24 GB VRAM…
Бенчмарки врут красиво: 6 локальных моделей на выходные под 8 GB VRAM
Знакомая картина: выходит флагман, пресс-релиз пишет "на 3 пункта лучше конкурента", твиттер разносит скриншоты таблиц, и все уже "поняли", что новая модель вдвое умнее.
26B на игровой видеокарте: тест FreeToken
## 26B на игровой видеокарте: тест FreeToken - движка для тех, кому нужна умная модель, а не апгрейд железа…
Домашний Perplexity, часть 2: кто думает над выдачей
В первой части персональный ассистент научился доставать факты из веба: лестница инструментов прошла поиск, антибот и капчу. Остался вопрос, кому доверить мышление над найденным.…
Контекст 900 тысяч токенов и вспомогательные модели: настраиваем Codex и Hermes Agent
На этой неделе подписчик канала поймал изменение, о котором нигде не было объявления: "Стал юзать Hermes через codex api, и контекст стал 900к, хотя был 240-270к.…
Vision в API за копейки: разбор DeepSeek V4-Flash-Vision-Exp и локальный стек, который делает то же самое
DeepSeek выпустила экспериментальную модель V4-Flash-Vision-Exp: та же дешёвая V4 Flash, но принимающая картинки.…
Локальное зрение для Hermes Agent в закрытом контуре
Hermes Agent может работать с текстом, командами и данными, но для полноценного личного ассистента этого мало.
Видит ли ассистент то, что видите вы?
Вы думаете, зачем здесь эти картинки? А вот сейчас и расскажу в статье.
book2rag: как загнать книги из Telegram в RAG
Превратить Telegram-канал с техническими книгами в поисковую базу знаний - задача, которая решается один раз и работает годами.…
DCD: Domain–Collection–Document ↗️
Выпустили статью на arXiv, в которой представили DCD Design — архитектурный подход к организации пространства знаний и обработке запросов в RAG-системах.
Я попробовал разные варианты построения RAG и вот к чему пришел
Два RAG, два сервера, два подхода. Каждый оказался сильнее в чём-то своём.
Talos V2: FPGA, микротрансформер и российское железо
Два студента собрали трансформер на ПЛИС за $150. Не софт, скомпилированный под FPGA, а чистый RTL — каждый слой нейросети как цифровая схема.