ИИ - это не только кодописание. Часть 1: выбирать модель по задаче, а не по HumanEval

В 2026 году выбор модели перестал быть соревнованием токенов в секунду и баллов на HumanEval. Для корпоративной системы важны класс задачи, контур данных и способ эксплуатации. Закон об ИИ, принятый 8 июля 2026 года, с нормами с 1 сентября, вводит категории суверенных и национальных моделей и требования к хранению данных в России.

Alice AI-T5-35B-A0.6B от Яндекса хорошо показывает эту разницу. Это не чат-ассистент, который подключают к переписке и просят вести диалог. Это базовая модель для поиска, извлечения фактов и коротких ответов по большому набору контекстов. Её разумно рассматривать как один из компонентов RAG-системы, а не как универсального сотрудника в мессенджере.

Что находится внутри

Модель построена по схеме encoder-decoder семейства T5 с разреженной Mixture of Experts. В ней 34,35 млрд уникальных параметров. В каждом MoE-слое работают 512 экспертов, а маршрутизатор выбирает восемь для очередного токена. На один проход активно около 0,6 млрд параметров. Отсюда суффикс A0.6B.

Разреженность снижает вычисления во время генерации, однако все 35 млрд параметров всё равно должны храниться в памяти. A0.6B говорит о цене вычислений, а не о размере модели на видеокарте.

Яндекс обучил претрейн с нуля на 15 трлн токенов, используя UL2-денойзинг и оптимизатор Muon. Контекст достигает 128 тысяч токенов. Весы опубликованы под Apache 2.0 в репозитории AliceAI-T5-35B-A0.6B, но это именно базовая, не instruct-модель. Перед пользовательским сценарием ей нужен алаймент, например LoRA-адаптация под формат запросов и ответов.

Где она уместна

Родной сценарий модели - быстрый ответ поверх поиска. Система получает запрос и отобранные фрагменты документов, модель читает их и формулирует короткий ответ с опорой на найденные сведения. В этом режиме ценнее не способность написать функцию на Python, а умение удержать длинный контекст, извлечь нужный факт и не подменить его правдоподобным текстом.

В таблице авторов модель получила 68,0 на CultCat, 81,3 на WikiWebFacts, 40,4 на YExtract и 94,7 на Ruler32K. Это данные авторов. В поисковом контуре Яндекса экстрактор инфоконтекстов на 80 млн параметров сократил входной поток и дал 40% прироста пропускной способности. Практика проста: сначала извлечь релевантные куски, затем отдать их генератору.

Такой контур - прямое совпадение с внутренними сервисами компании: база знаний корпоративного портала, ответы по задачам Джире, история в Битрикс24, регламенты и нормативные документы. Во всех этих системах запрос самостоятелен: вопрос плюс отобранные фрагменты, короткий фактологичный ответ на русском. Для этого сочетания (русский язык, длинные документы, дешёвый forward) модель создавалась.

Где она создаст лишнюю работу

Для многоходового диалога эта архитектура неудобна. Энкодер-декодер плохо использует накопленный KV-кэш, поэтому историю приходится заново обрабатывать. Яндекс использует для таких сценариев декодерную модель.

Чат-бот: важная развилка

Если бот отвечает на вопросы по базе знаний, где каждый запрос самостоятелен, формат модели подходит. Если бот ведёт свободный диалог с памятью, уточнениями и отсылками к сказанному ранее - энкодер-декодер здесь слабое звено: историю приходится обрабатывать заново. Яндекс для многоходовых диалогов использует декодерную модель. На практике это значит: корпоративный бот поддержки поверх базы знаний - да, свободная беседа - нет.

Код и математика тоже не сильная сторона этой модели. Авторы указывают 62,9 на MATH500 и 69,3 на HumanEval. Это рабочие цифры для базовой модели, но тяжёлые модели 35B-A3B класса показывают более сильные результаты в программировании и рассуждениях. Выбирать Alice T5-35B для кодового агента только потому, что она быстро считает активные параметры, значит заранее создавать себе компенсационный слой из подсказок, проверок и повторных запусков.

Суверенный контур и железо

Для организаций с требованиями к локализации данных модель интересна лицензией Apache 2.0 и возможностью держать обработку в России. По логике законопроекта она ближе к категории национальной модели, которая допускает открытые лицензии. Юридическую оценку должна давать служба комплаенса по конкретному процессу и актуальной редакции нормы.

Развёртывание на своих серверах позволяет не передавать внутренние документы за рубеж. Альтернатива - API Яндекса в российском контуре. Для госсектора и критической инфраструктуры нужны классификация данных, журналирование, контроль доступа и договорные условия обработки.

На домашней карте с 8 ГБ модель не запустить. Веса BF16 занимают около 69 ГБ видеопамяти. FP8 требует около 34 ГБ, а даже INT4 - примерно 17 ГБ без запаса под контекст. Официального GGUF или готового кванта нет. Для собственного стенда нужен ускоритель на 48-80 ГБ, либо два ускорителя меньшего объёма. На 24 ГБ запуск станет реалистичным только после появления подходящей INT4-квантизации, но это ещё не готовый корпоративный путь.

Сначала надо назвать задачу: поиск факта, извлечение поля, кодовый агент или диалоговый помощник. Затем проверить контур данных, требования к локализации, стоимость памяти и способ адаптации. Если нужен русскоязычный RAG с длинными документами и контролем размещения данных, Alice AI-T5-35B-A0.6B стоит тестировать. Для чата или агента-разработчика лучше сразу выбрать декодерную модель. ИИ - это не только кодописание.

Что дальше

Это первая часть. Во второй разберу другой фронт: как подход state вместо истории (архитектура SKILL.state, которую описывают Google и Университет Пердью) снимает главный минус энкодер-декодера в многоходовом диалоге - и что это значит для дешёвых моделей в агентных системах.