Опубликовано
System One Models: дешёвые вероятности вместо дорогих строк
Автор: Гусев Николай [портфолио]
System One Models: дешёвые вероятности вместо дорогих строк
Заход
15 сентября 2026 стартап TypeSafe выкатил то, что основатель Diogo Almeida называет новым классом моделей: System One Models. Первая модель - Jev, ранний доступ. Заявленные цифры дерзкие: отклик 70-500 мс против 3-329 секунд у фронтирных LLM, вход $0.042 за миллион токенов, выход бесплатный. Заявлены ускорение в 193.6 раза и удешевление в 444.6 раза против среднего из GPT-6 Astra и Fable 5.1.
Меня в их посте зацепила не цифра скорости. Меня зацепило, что половину их "революции" я уже видел раньше, и не только в ИИ.
Что именно они сделали
Обычная LLM генерирует текст токен за токеном, слева направо. Каждый следующий токен зависит от предыдущего. Это медленно, дорого и объясняет, почему модель, которая "думает" 30 секунд, хороша для человека за клавиатурой и плоха как вызов из кода.
TypeSafe отказалась от генерации строк целиком. Jev не пишет текст. Она выдаёт типизированные значения - варианты ответа заданы схемой заранее, каждый ответ сопровождается калиброванной вероятностью. Все выходы считаются параллельно, за один проход. Метод обучения назвали RLCD - Reinforcement Learning for Calibrated Decisions: вместо "нравится ли людям текст" оптимизируется "честна ли вероятностная оценка решения".
Терминология - из Канемана: System 1 - быстрое интуитивное решение, System 2 - медленное рассуждение. LLM по этой рамке - игровой System 2, а Jev позиционируется как System 1 для софта: неструктурный вход, типизированное вероятностное решение на выходе.
Это не первая модель такого класса
Прием "не генерировать строки последовательно" уже обкатан, и публично:
Диффузионные языковые модели. Inception Labs (основатель - Stefano Ermon из Стэнфорда) выпустила Mercury Coder в феврале 2025, а Mercury 2 - уже reasoning-модель с параллельным уточнением: генерирует десятки/сотни токенов одновременно и сходится за несколько шагов диффузии. Заявлено более 1000 токенов в секунду на Blackwell, $0.25 вход / $0.75 выход за миллион, schema-aligned JSON. Google DeepMind в мае 2025 показал Gemini Diffusion - генерация блоками, порядка 1479 токенов в секунду в демо. Обе семьи гонят текст, но параллельно, а не последовательно.
Speculative decoding. Иная механика, тот же принцип: маленькая модель (или черновик-расшифровка) дорисовывает несколько токенов быстро, большая верифицирует за один проход. Стандартная практика инференса уже годами есть у vLLM, SGLang и любого крупного провайдера.
Каскады моделей. FrugalGPT (Стэнфорд, 2023) показал: дешёвая модель отвечает первой, дорогая подключается только там, где дешёвая не уверена. Цифры: качество уровня GPT-4 при снижении цены до 98%. RouteLLM и семантические роутеры - это тот же паттерн, только в проде: классификатор решает, кому отдать запрос. Обзор arXiv 2603.04445 сводит измерения по 8 способам оценки неуверенности: обученные классификаторы и оценки на перплексии бьют "я сам скажу, насколько уверен" вербализацией.
Structured outputs и constrained decoding. Мгновенная гарантия schema-consistent JSON есть уже у OpenAI, Google, локального vLLM - интересно тем, что TypeSafe построила решение не на токенах, а подход известный. Гарантия через грамматики/FSM работает, доказана практикой.
То есть не Jev один в поле. Столбцы "спекулятивный декод", "диффузия", "structured output", "каскады" - это всё те же сами технические приёмы. TypeSafe собрала их в одну тему под громким именем System One и сократила переучетом: одна модель, обученная выдавать решения с калибровкой, а не строки.
Аналог в классической инженерии
Тут самое главное, на мой взгляд. Фраза "строку заменить на типизированное решение с вероятностью" - не новая архитектурная идея. Она - прямой общий знаменатель систем, которые работают в проде полвека.
ПЛК и его цикл сканирования. Программируемый логический контроллер (PLC) в промышленности не "рассуждает". Он в фиксированном цикле читает входы, прогоняет через набор дискретных правил (реле-контактные цепочки), пишет выходы. Время цикла - миллисекунды, детерминировано. Точно так же, как Jev: фиксированная схема выходов, гарантированный отклик, никакого "он потерялся в рассуждениях". Когда конвейер должен остановиться при датчике перегрузки, никто не ставит туда LLM - ставят ПЛК со схемой, вероятностей нет, гарантий есть.
Фильтр Калмана. С 1960 года, с "Аполлона". Прогоняет каждые 10-50 мс в навигационных системах. Выход - не текст, а вектор состояния с ковариационной матрицей - то есть оценка с честной мерой неуверенности. Это прямой аналог "калиброванных вероятностей" у Jev: ручная, математически строгая версия того же требования. Все САУ, все автопилоты, все управления дронами построены на этом принципе: решение вероятностное, численные выходы, жёсткая латентность.
Проводное электрическое управление (hardwired logic). Релейная логика в энергетике до сих пор так работает: защиты (protection relays) срабатывают в мс, не могут "галлюцинировать", потому что физическая схема определяет все возможные бинарные выходы. Надёжность обеспечена не "умом" исполнительного механизма, а ограничением пространства его решений.
ACL коммутаторов и роутеров. Каждый пакет проходит таблицу правил с фиксированным набором исходов: forward, drop, nat. Никакой генерации strings. Это самый дешёвый и быстрый "решатель" в мире, и он ежедневно принимает триллионы решений за биосистемку.
Почему это верный инженерный ход, а не маркетинг
Мировая практика классической автоматизации далее сводится к одному правилу: где решение должно считаться каждые 100 мс - там не может быть генерации строк; там - схема, калибровка и гарантии. TypeSafe просто применила это правило к LLM-слою.
В своей настройке агентов я примерил бы это так: классификатор на мелкой модели для маршрутизации, фронтирная модель - только там, где нужно мышление. TypeSafe обещает заменить "классификатор на мелкой LLM" на специализированную модель с честной калибровкой и latency в пределах 100 мс. Это звучит разумно.
Дешёвую версию этого слоя я собирал сам: RouteLLM-роутинг тратил мою фронтирную модель на задачи, которые решает классификатор, и съедал цены на 6-12 итерациях агента почти вхолостую. Заявленные $0.042 за миллион токенов и бесплатный выход - если подтвердится на практике - закрывают эту боль.
Что заявлено против того, что доказано
Разбираю честно - как они сами в посте с оговорками:
-
Скорость: честная. Замеры с их ноутбуков на West Coast, но сама архитектура (параллельный вывод, нет токенов), скорость должна быть такой.
-
Цена: они сами говорят "не можем доказать, что не субсидирована".
-
"Не может галлюцинировать": технофраза. Она не может сломать схему (это математически гарантировано), но может выдать кривые вероятности - как любой классификатор. С точки зрения инженера: вероятности могут быть кривыми, схема не будет нарушена.
-
Устремление "универсального интеллекта" в decision-слое - измерено на их собственных 4 воркфлоу-эвалах, написанных их командой, против среднего из GPT-6 Astra и Fable 5.1. Уровень предвзятости они сами признают. Независимых прогонов нет.
-
FAQ под заголовком "How Is It Possible?" на странице схлопывается - без ответов.
Что бы я проверил, прежде чем тащить в прод
Три шага, без которых не поверю:
-
Собственный замер калибровки. Отправить 100 задач с известной ответной сеткой, сравнить выданные вероятности с частотой попаданий. Если оценки Jev по вероятностям пока ещё не калиброваны на моих данных - какой в них смысл?
-
Замер латентности из РФ. Пакеты идут от нас не с West Coast ноутбуков - реальный p95, не их средний.
-
Сравнить с дешёвым каскадом: мелкая LLM + structured output + пороговая логика. Это дороже и медленнее - но это то, что я могу собрать сегодня без "раннего доступа".
Итог
Идея здравая: у decision-слоя авторегрессия - лишний расход. Приёмы из "нового класса" (parallel decode, schema-гарантия, калиброванные вероятности, каскады) - добыты инженерной практикой, от реле до Калмана. TypeSafe довела их до уровня специализированного слоя под LLM-нагрузку. Осторожный оптимизм: если калибровка реальна, в routing/guardrail-слое агентов замена дешёвого классификатора спецмоделью с честной вероятностью - кандидат. До проверки - это интересный анонс, а вопрос "будет ли это работать в наших руках" остаётся открытым.
Ссылки
Introducing System One Models & Jev - TypeSafe AI
Gemini Diffusion - Google DeepMind
FrugalGPT: How to Use Large Language Models While Reducing Cost (arXiv 2305.05176)
Dynamic Model Routing and Cascading for Efficient LLM Inference: A Survey (arXiv 2603.04445)