Опубликовано
Diff недели: агентные тесты новых моделей на RTX 4060
Автор: Гусев Николай [портфолио]
Темы: ai-agents, benchmarks, local-models, privacy
**Сложность: **средняя
Неделю назад я проверил десять моделей на девяти агентных тестах и нашёл лидера для русскоязычного локального агента. За неделю появились новые кандидаты, и логично было прогнать их по той же методике: тот же стенд RTX 4060 8 GB, тот же квант Q4_K_M, тот же харнес с прогревом и полной выгрузкой модели после теста. Это diff, а не новый обзор.
Что прогонял
Четыре новые модели, которых в первом прогоне не было: LFM2.5-8B-A1B (MoE 8.3B, активных 1.5B), Nanbeige4.2-3B, Fara1.5-4B (браузерный агент Microsoft) и Ling-3.0-Tiny (MoE 128 экспертов по 1B). Сюита та же: три русских теста (токенизация, культура, RAG), два кодовых (Rust, DevOps) и четыре диспетчерских (живость, делегирование на английском, скоринг на русском, тривиальность).
Результаты
`Модель Русские Код/DevOps Диспетчер Скор (avg)
LFM2.5-8B-A1B 4/5, 3/3, 5/5 4/5, 4/5 ALL PASS 40-108 t/s
Nanbeige4.2-3B 3/5, 3/3, 5/5 4/5, 5/5 ALL PASS 16-37 t/s
Fara1.5-4B 4/5, 2/3, 4/5 4/5, 5/5 ALL PASS 13-41 t/s
Ling-3.0-Tiny 2/5, 3/3, 2/5 4/5, 4/5 T2/T3 FAIL 18-62 t/s`
LFM2.5-8B-A1B: новый чемпион серии
MoE с активными 1.5B из 8.3B общих дал самый высокий агентный балл в своей серии: 4/5 по токенизации, полный RAG, 4/5 по Rust и DevOps, дисциплину диспетчера не нарушил ни в одном тесте. Скорость при этом 40-108 t/s в зависимости от задачи, в среднем около 80 против около 30 у лидеров первого прогона. В паре со скоростью это делает модель первым кандидатом для быстрого локального агента.
Nanbeige4.2-3B: новый малый универсал
3B модель прошла все восемь тестов, включая неформальные инструкции диспетчера. По балансу она близка к Apollo-4B-Thinking из первого прогона, но стабильнее по русским и быстрее. Файл 2.4 GiB - для домашнего пула 8 ГБ это естественный кандидат.
Fara1.5-4B: агент с узкой специализацией
Открытые веса MIT. В общей сюите работает уверенно, но ru-02 просела до 2/3. Её стихия - браузерная автоматизация, под которую она и обучалась Microsoft. Универсальной заменой не будет, но в пуле задач с вебом держать стоит.
Ling-3.0-Tiny: быстрая, но не диспетчер
Формально самая высокая скорость среди новых: до 62 t/s в DevOps. Но T2 и T3 провалила одинаково: модель решает задачу сама вместо делегирования. Это тот же класс поражения, что у Aion-RP из первой серии: держать подальше от агентного пайплайна, брать только на исполнение и скорость.
Куда двигаться пулу
Первая статья дала YandexGPT-5-Lite-8B и Granite-4.1-8b как первую пару эшелона. После diff недели пул расширяется: LFM2.5-8B-A1B поднимается на первое место по совместному результату качество плюс скорость. Nanbeige4.2-3B и Fara1.5-4B добавляются как малые универсалы. Ling-3.0-Tiny остаётся исполнителем коротких задач.
Замеры одной методикой: load, два прогрева, восемь тестов, unload после каждой модели.
Подписывайся: @hermesagentru