Живой замер API: 38 задач, 14 моделей и одна несуществующая статья ТК

Живой замер API: 38 задач, 14 моделей и одна несуществующая статья ТК

Запустил замер на живых API и приготовился смотреть на цифры. Внутри было 38 задач, 14 моделей и 608 уникальных прогонов. Успешными завершились 481.

Смотрел не на абстрактное "умнее", а на то, что обычно всплывает в работе: сколько токенов съедает русский промпт, насколько разрастается ответ, как быстро приходит результат и что модель делает с юридической ловушкой. Потому что иногда самая дорогая часть эксперимента - это не API, а собственное выражение лица после уверенного ответа на несуществующую норму.

Контекст замера

Сбер даёт физлицам 365 млн токенов на год бесплатно, распределённых по четырём пулам: Lite 250М, Ultra 50М, Pro 40М, Max 25М. OpenCode Go и бесплатные модели OpenRouter дают альтернативу без токенов вообще: платишь подпиской и жмёшь сколько влезет. Возникает инженерный вопрос: на токенах Сбера внутри Freemium реально влезает больше русской работы, чем на бесплатных аналогах?

Замер делался по парам с сопоставимым классом: GigaChat-2 (MERA 0.541) против Qwen3-30B-A3B-2507 (MERA 0.492) - прямой конкурент. GigaChat-3-Ultra (702B-A36B) - против grok-4.6 и kimi-k3, потому что других открытых моделей такой лиги в free просто нет.

Как проходил замер

Замер проведён 12.09.2026 по данным results/merged-519.json.

Было 38 задач в пяти категориях:

factcheck: юридические ловушки ТК РФ

writing

reasoning: многошаговая арифметика

format: JSON, таблицы, строгий вывод

tokenize: короткие тексты

Всего: 14 моделей и 608 уникальных прогонов, 481 валидных. Остальное - transient SSL/timeouts, повторные запуски закрыли до 100%. Токены Freemium потрачено: около 53 тыс. токенов из 365 млн доступных (0.014% от общего пула).

Токенизация: русский текст сжимается в 2-3 раза плотнее, чем у kimi/qwen

В категории tokenize измерялось среднее число prompt_tokens. Чем меньше значение, тем плотнее токенизатор.

| модель | значение |
| kimi-k3 | 138 |
| qwen3.8-flash | 100 |
| qwen3.8-max | 100 |
| deepseek-v4.1-flash | 73 |
| deepseek-flash | 73 |
| GigaChat-2 | 54 |
| GigaChat-2-Pro | 54 |
| glm-5.3-flash | 53 |
| glm-5.3 | 52 |
| GigaChat-2-Max | 51 |
| GigaChat-3-Lightning | 47 |
| GigaChat-3-Pro | 47 |
| GigaChat-3-Ultra | 47 |

На коротких русских текстах GigaChat-3 получил 47 токенов против 100 у qwen3.8 и 138 у kimi-k3. В этот момент мой внутренний бухгалтер токенов ненадолго перестал ворчать.

Что это значит в деньгах Freemium. Твои 250 млн токенов Lite-пула при токенизации GigaChat - это фактически в 2-3 раза больше реального русского контента, чем 250 млн токенов на китайских моделях. На практическом уровне: OAuth-запрос к Qwen на 5 строк текста съест то же, что GigaChat на абзац.

Отдельная деталь: grok через OpenAI Responses API добавляет служебный префикс около 200 токенов к любому промпту - инженерная мелочь, но по малым запросам бьёт сильнее всего.

Длина ответов: GigaChat даёт плотный completion в 2-12 раз короче конкурентов

В factcheck измерялось среднее число completion_tokens.

| модель | значение |
| qwen3.8-flash | 2006 |
| qwen3.8-max | 1272 |
| glm-5.3 | 689 |
| kimi-k3 | 683 |
| deepseek-v4.1-flash | 654 |
| deepseek-flash | 645 |
| glm-5.3-flash | 611 |
| GigaChat-3-Ultra | 466 |
| GigaChat-3-Lightning | 235 |
| GigaChat-3-Pro | 222 |
| GigaChat-2-Pro | 189 |
| GigaChat-2 | 170 |
| GigaChat-2-Max | 159 |

Самый длинный средний ответ в этой категории был у qwen3.8-flash: 2006 токенов. У GigaChat-2-Max: 159. Иногда ответ на юридическую ловушку превращается в роман, а иногда успевает остаться ответом.

Короткий completion - это не "модель немногословная", это модель, которая не болтает вокруг ответа. В агентных конвейерах, где вызовов тысячи, эта разница стоит реальных денег.

Скорость: Lightning 1.2 с против qwen 20 с

Средняя задержка, секунды. Таблица выстроена от большей задержки к меньшей.

| модель | значение |
| qwen3.8-max | 20.2 с |
| qwen3.8-flash | 15.8 с |
| kimi-k3 | 12.9 с |
| glm-5.3 | 7.2 с |
| GigaChat-3-Ultra | 5.6 с |
| glm-5.3-flash | 5.0 с |
| deepseek-v4.1-flash | 3.6 с |
| deepseek-flash | 3.6 с |
| GigaChat-2-Max | 3.4 с |
| GigaChat-2-Pro | 2.7 с |
| GigaChat-3-Pro | 2.0 с |
| GigaChat-2 | 1.7 с |
| GigaChat-3-Lightning | 1.2 с |
| grok-4.6 | 0.6 с |
| deepseek-v4-pro | 0.6 с |
| deepseek-v4-flash | 0.6 с |

GigaChat-3-Lightning показал среднюю задержку 1.2 с, qwen3.8-max: 20.2 с. Для интерактивных сценариев (чат-бот, обработка заявок) это разница между "нормальный ответ" и "ушёл за кофе".

Заметка у костра: grok-4.6 и deepseek-v4-pro, deepseek-v4-flash с 0.6 с - это охлаждённые no-grounded модели. Их стоит проверить в фактической работе.

Что произошло на ловушке со статьёй 74.1.1 ТК РФ

Ловушка F01: статья 74.1.1 ТК РФ не существует.

glm-5.3-flash:

Такой нормы в Трудовом кодексе РФ не существует, и в самом вопросе, судя по всему, есть несколько неточностей. Поясню:

GigaChat-2:

Минимальный размер денежной компенсации за неиспользованный отпуск при переводе государственного служащего на дистанционную работу составляет не менее трехкратного размера среднего дневного заработка согласно статье ...

GigaChat-2-Max:

Статья 74.1.1 Трудового кодекса Российской Федерации устанавливает гарантии и компенсации государственным гражданским служащим, которым работодателем установлено дистанционное выполнение должностных обязанностей.

GigaChat-3-Lightning:

Согласно статье 74.1.1 Трудового кодекса РФ, минимальный размер отпускных денежных компенсаций для государственных гражданских служащих при дистанционном переводе составляет не менее двух третей от оклада денежного с...

GigaChat-3-Pro:

В Трудовом кодексе РФ статья 74.1.1 отсутствует, соответственно, никаких норм о минимальном размере денежных компенсаций взамен части отпуска для дистанционных государственных служащих в ней не содержится.

GigaChat-3-Ultra:

Такой статьи в Трудовом кодексе РФ нет. Возможно, вы имели в виду статью 74 ТК РФ, которая регулирует изменение условий трудового договора...

Вот и весь уют живых API: в одном прогоне модель останавливается на несуществующей статье, в другом начинает уверенно строить вокруг неё законодательный мир. Я тоже люблю уверенность. Особенно когда она сначала проходит проверку.

Reasoning: где RF-модели честно слабее

10 задач на многошаговую арифметику и одну логическую ловушку (вопрос с внутренним противоречием, правильный ответ "данных недостаточно"). Результат по чекеру:

| модель | ok |
| deepseek-flash | 87.5% |
| glm-5.3 | 87.5% |
| kimi-k3 | 87.5% |
| deepseek-v4.1-flash | 87.5% |
| qwen3.8-flash | 87.5% |
| GigaChat-2-Pro | 77.5% |
| GigaChat-2-Max | 72.5% |
| GigaChat-3-Ultra | 67.5% |
| GigaChat-2 (Lite) | 62.5% |
| GigaChat-3-Lightning | 62.5% |

Не всё в пользу Сбера. На многошаговом reasoning китайские MoE-модели стабильнее: 87-88% против 62-77% у GigaChat-2/3. RF-модели заметно умнее на российском корпусе, но на абстрактных задачах без "русской специфики" проигрывают.

Это слабое место - главный барьер для продакшена: если твой конвейер гоняет численные расчёты по ходу (ETA, квоты, финансовые формулы), GigaChat-3 брать нужно с пост-проверкой арифметики. На "о ком идёт речь" или "что написано в документе" RF работает отлично.

Формат: строго заданный вывод

JSON с парой полей, markdown-таблица из 3 колонок, ровно 3 пункта списка, ответ строго одним словом. У агентных вызовов почти всегда есть строгий формат вывода, и падение формата стоит парс-ошибки и каскадного повторного запуска.

| модель | format,% |
| GigaChat-3-Ultra, grok-4.6 | 100 |
| GigaChat-2 (все), GigaChat-2-Pro, GigaChat-2-Max, glm-5.3-flash | 83-92 |
| deepseek, kimi, qwen | 75 |

GigaChat-2 держит формат лучше, чем я ожидал от Lite-класса. У всех RF кроме Ultra - одна и та же мягкая ошибка: иногда пишут "Ответ: python" вместо чистого "python" (засчитывалось 0.5, не провал). Китайские модели на формат-задачах любят добавить пояснение вокруг ответа.

Ложка дёгтя: цены и лицензионные ограничения

Пулы Freemium не перетекают друг в друга. У физлица 365 млн токенов на год, разделённые на фиксированные пулы - один не перетекает в другой: Lite 250М, Ultra 50М, Pro 40М, Max 25М. Выжег Pro-пул - остаток Lite не поможет, придётся либо слать сложные задачи на Lite (теряя качество), либо покупать токены именно для Pro. Токены живут 12 месяцев со дня начисления.

Бесплатные токены - только для личных некоммерческих целей по правилам использования. Фрилансер, решающий рабочую задачу клиента на Freemium, формально нарушает условия - и должен покупать платный пакет независимо от остатка лимита.

Цены API после исчерпания Freemium (физлицо, пакеты в личном кабинете на 07.2026): Lite 0,065 / Pro 0,5 / Max 0,65 руб за 1000 токенов в синхронном режиме, асинхронный режим дешевле примерно вдвое. Юрлица платят минимум 600 руб в месяц за pay-as-you-go (не абонплата - минимальный счёт при использовании), либо пакеты от 19 500 руб за 300 млн Lite-токенов.

Свежий флагман 3.5 Ultra (432B-A28B, июль 2026) в собственном API Сбера проверен живым 404 - маршрута нет, доступен только через Cloud.ru Foundation Models по 96 руб за 1 млн входных и 288 руб за 1 млн выходных токенов. Для сравнения, Lite-модель на собственном API Сбера стоит 65 руб за 1 млн токенов (синхронный режим), асинхронный режим - примерно вдвое дешевле.

Независимый бенчмарк mysummit.school даёт чёткую рамку: "Если есть требования хранения данных в РФ или закрытого контура - GigaChat закрывает задачу, и альтернатив почти нет. Если нет - вы сравниваете качество за деньги, и там 3.5 Ultra проигрывает моделям, которые доступны из России и стоят дешевле" (DeepSeek V4 Flash дешевле на порядок и выше по баллам; Gemma 4 31B - сопоставимое качество в 8 раз дешевле).

Локальное развёртывание: какое железо нужно

Веса GigaChat 3.x открыты под MIT (HuggingFace, GitVerse: ai-sage/GigaChat3.x-702B-A36B). Проверено живым запросом к HF API 12.09.2026.

| вариант | размер репо | минимальное железо |
| Ultra 702B-A36B bf16 | 1332 GB safetensors | ~17x H200 (141 GB) или ~21x H100 (80 GB), NVLink/IB |
| Ultra FP8 | около 665 GB | ~8x H200, вариант для кластеров DeepSeek V3 |
| Ultra INT4 (квант сам) | ~180-250 GB | 2-3 сервера по 8x H100/4x MI300X, InfiniBand |
| Lightning 10B-A1.8B bf16 | ~40 GB | 1x карта 16 GB+ (RTX 4090) - подтверждён vLLM v0.11.0 |

Архитектура совместима с DeepSeek V3 по классу (MLA, MTP, MoE), значит подойдут стандартные vLLM, SGLang, LMDeploy, TensorRT-LLM. Не нужно пересобирать Docker-образы или переписывать конвейеры: если кластер DeepSeek V3 уже стоит, Ultra встанет на него.

Практический вывод для компании: локально в контуре компании Ultra - проект уровня CAPEX от нескольких десятков GPU H-класса и миллионов рублей, а не "поставил контейнер". Реалистичный корпоративный сценарий 2026: API Freemium или платный для прототипа, плюс локальное развёртывание Lightning на одной карте для чувствительных данных, либо сразу Ultra на готовом DeepSeek V3-кластере, если такой уже есть.

FAQ: что брать под задачу

Если планируешь сжимать короткие русские промпты по токенам - бери GigaChat-3-Lightning, GigaChat-3-Pro или GigaChat-3-Ultra: в замере у них по 47 prompt_tokens.

Если планируешь получать короткие ответы в factcheck - бери GigaChat-2-Max: в замере у него 159 completion_tokens.

Если планируешь снизить задержку среди GigaChat - бери GigaChat-3-Lightning: средняя задержка 1.2 с.

Если планируешь гонять чистую арифметику - бери китайские MoE: glm-5.3 или deepseek-flash, у них 87.5% reasoning против 62-77% у RF.

Если планируешь проверять юридические утверждения - бери модель, которая на конкретной ловушке прямо сообщает, что статья 74.1.1 ТК РФ отсутствует, и проверяй ответ фактически. По общему счёту ловушек: qwen3.8-flash 100%, glm-5.3-flash 85%, тройка GigaChat-3 75%.

Практическая стратегия, которую вывел из замера: Freemium GigaChat держать на рутинах (переписка, рерайт, суммаризация), где токенизатор RF максимально выжимает русский текст. Для чистой арифметики - подключать бесплатные китайские MoE через OpenRouter/OpenCode. И не экономить на Lite там, где вопрос юр-тонкий: переезд на Pro/Ultra стоит копейки и поднимает factcheck с 60 до 75%.