Granite Switch 4.1 — универсальный солдат?

Материал подготовлен по мотивам публикации IBM Granite на Hugging Face. Ниже отдельно отмечены данные из карточек моделей и наши проектные выводы; заявленные характеристики не следует автоматически переносить на любой язык и любую конфигурацию.

Зачем нужен Granite Switch 4.1

ASR — Automatic Speech Recognition, то есть автоматическое распознавание речи: технология, которая превращает аудиозапись в текст. В Granite Switch за этот этап отвечает Granite-Speech-5.0-Turbo-CTC. После ASR система уже может искать тему разговора, делать резюме и запускать проверки.

В рабочем AI-конвейере чат, классификация, модерация и распознавание речи часто реализованы отдельными сервисами. На схеме это выглядит логично, но на практике появляются очереди, преобразование форматов, сетевые вызовы, несколько GPU-пулов и сложная диагностика задержек.

Granite Switch 4.1 предлагает собрать эти операции вокруг одной базовой модели и переключаемых адаптеров. Один endpoint может принять текстовый или голосовой запрос, выбрать нужную специализацию, вернуть ответ и структурированные признаки для следующего шага.

Что входит в состав

Для моделей Granite-Switch-4.1-8B и Granite-Switch-4.1-30B заявлены:

• базовая языковая модель для диалога и генерации;
• Decision aLoRA для общих задач классификации и принятия решений;
• Guardian aLoRA для проверок безопасности;
• Granite-Speech-5.0-Turbo-CTC для speech-to-text.

Это не «магическая модель, которая одинаково хорошо делает всё». База остаётся общей, а под конкретный этап подключается подходящий адаптер.

Что такое адаптер? Это небольшой набор дополнительных параметров, который донастраивает уже обученную модель под конкретную задачу. В статье IBM используется формат aLoRA — адаптер LoRA, который можно подключать только в нужный момент. Вместо хранения и запуска отдельной полной модели для каждой функции мы держим одну базу и несколько лёгких «профилей» для неё.

Что делают Decision и Guardian

Decision — это не модуль, который принимает юридические или управленческие решения вместо человека. Он помогает превратить свободный текст в понятные признаки: определить тему обращения, его срочность, категорию, маршрут или наличие заданного условия. Например: «это вопрос по оплате?» — да или нет; «нужна ли эскалация?» — вероятно, да.

Guardian — защитный слой. Он проверяет текст или расшифровку на потенциально опасное, запрещённое или нежелательное содержание: угрозы, попытки обойти правила, вредные инструкции и другие категории, которые команда заранее определяет для своего продукта. Guardian не заменяет модератора, юридическую экспертизу и бизнес-правила, а помогает вовремя поставить флаг и отправить случай на дополнительную проверку.

Как это превращается в рабочий процесс

• Получить аудио или текст обращения.
• Распознать речь и определить язык.
• Сделать краткое резюме с сохранением важных сущностей.
• Классифицировать тему, приоритет и маршрут.
• Проверить harmful content, персональные данные и обязательные ограничения.
• Запустить RAG по нужной базе знаний.
• Сформировать ответ оператору или клиенту и записать структурированные флаги в CRM.

Результат — не просто текстовый ответ, а структурированная запись: язык обращения, его тема, приоритет, эмоциональная окраска текста (sentiment), флаги риска (risk flags — признаки, требующие дополнительной проверки), найденные документы, рекомендуемый следующий шаг и объяснение выбранного маршрута.

Заметки на полях: куда я бы это поставил

Главный кандидат — L1-поддержка. Granite Switch 4.1 можно рассматривать как замену пайпа из нескольких моделей с разным поведением: отдельная модель для ASR, отдельная для классификации, отдельная для safety-проверки и ещё одна для ответа. В новом варианте это одна базовая модель с адаптерами, а внешние системы по-прежнему отвечают за CRM, RAG и тикеты.

Клиент пишет или присылает голосовое сообщение. Система определяет тему и приоритет, находит карточку клиента и историю обращений, собирает контекст и ищет решение в корпоративной базе знаний. Затем готовит ответ, а Guardian и бизнес-правила проверяют, можно ли отправить его без участия человека. Если подходящей статьи нет, уверенность низкая или обнаружен риск, тикет уходит специалисту L2.

Это напрямую продолжает наши прежние пайпы. В материалах про маршрутизацию моделей мы разносили задачи между разными моделями и ресурсами; в статье про decision-модели отдельно разбирали классификатор, который выдаёт вероятности по вариантам; в разборе корпоративного RAG — поиск по внутренней базе перед генерацией. Granite Switch 4.1 интересен как кандидат на объединение таких шагов под одной моделью с подключаемыми адаптерами.

*Это не первая наша попытка собрать такой конвейер. В разборе маршрутизации моделей мы распределяли задачи между разными моделями, в материале про корпоративный RAG — отдельно строили поиск по внутренней базе, а в разборе decision-моделей — выносили классификацию в отдельный слой. Granite Switch 4.1 интересен тем, что может стать кандидатом на объединение этих шагов в одной базовой модели с адаптерами.

1. Поддержка и голосовая линия. После звонка система выдаёт транскрипт, резюме, язык разговора, тему, срочность и признак эскалации. Руководитель видит статистику по обращениям, а оператор получает подсказку без ручного прослушивания записи. Для нескольких языков можно направлять обращения в одну очередь, сохраняя оригинал и перевод отдельно.

2. Входящие письма, Telegram и голосовые сообщения. Текстовые и голосовые обращения проходят один маршрут: определение языка, нормализация, классификация и назначение ответственного. Это особенно полезно, когда пользователь начинает с текста, продолжает голосом и меняет язык в одном диалоге.

3. RAG по внутренним базам. Перед поиском Decision-адаптер определяет тип запроса и нужный источник — регламент, договоры, инструкции или базу инцидентов. После генерации Guardian и правила проверяют ответ на раскрытие чувствительных данных, отсутствие обязательной оговорки и несоответствие политике.

4. Комплаенс и маршрутизация. Модель не обязана сама принимать окончательное юридическое решение. Она может выставить флаги: есть ли финансовый риск, персональные данные, обещание клиенту, запрос на возврат или потенциально опасная формулировка. Дальше правила и сотрудник определяют действие.

5. Встречи и полевые заметки. Голос превращается в текст, затем — в решения, задачи, сроки и открытые вопросы. Мультиязычный сценарий требует сохранять оригинальную цитату рядом с переводом, чтобы не потерять смысл и иметь аудиторский след.

6. Автоматизация L1-поддержки. Этот сценарий лучше всего показывает, что даёт единый endpoint.

Клиент пишет текст или отправляет голосовое обращение. Система распознаёт речь, определяет тип и приоритет, находит карточку заказчика и его предыдущие обращения, собирает контекст проблемы, ищет решение в корпоративной базе знаний и готовит ответ. Затем Guardian и правила проверяют текст на безопасность и утежку чувствительных данных, после чего ответ записывается в тикет.

Если уверенность низкая, нет подходящей статьи или обнаружен риск, обращение передаётся специалисту, а не отправляется автоматически. Так автоматизация работает только для заранее определённых низкорисковых категорий.

Важно понимать: Granite Switch сам по себе не является CRM, RAG-системой или тикет-системой. Он выполняет интеллектуальные этапы — распознаёт речь, классифицирует запрос, анализирует текст и формирует ответ. Поиск клиента, вызов API CRM, поиск документов, создание тикета и отправка сообщения делает внешний оркестратор — например, сервис поддержки, workflow-движок или собственный backend.

Почему адаптеры полезнее набора отдельных моделей

Activated LoRA-адаптеры могут использовать общий KV-cache базовой генерации. Вместе с оптимизациями vLLM это уменьшает стоимость перехода между чатом, классификацией и проверками. Специализированные адаптеры из Granite Libraries можно добавлять рядом с универсальным decision-адаптером, если нужна точность на конкретном домене.

Как спроектировать пилот

• Выбрать один процесс. Например, классификация обращений из звонков, а не сразу вся корпоративная AI-платформа.
• Зафиксировать SLA. Отдельно измерить время ASR, decision-этапов, RAG и итогового ответа.
• Разделить автоматизацию. Низкорисковые случаи отправлять автоматически, пограничные — оператору.
• Собрать языковые срезы. Сравнить качество для каждого языка, акцента, шума и смешанной речи.
• Проверить GPU-профиль. Зафиксировать квантование, контекст, concurrency, VRAM peak и скорость токенов.
• Сохранить аудит. Логировать версию базы и адаптера, вход, флаги, уверенность и финальное решение человека.

Итог

Granite Switch 4.1 — не готовая служба поддержки и не замена CRM или корпоративной базы знаний. Скорее, это кандидат на роль общего интеллектуального слоя: он принимает текст или голос, переключает нужную специализацию и возвращает либо ответ, либо структурированный результат для внешней системы.

Главный вопрос для пилота: сможет ли одна сборка дать приемлемое качество на всех этапах пайпа и одновременно упростить эксплуатацию — вместо нескольких моделей с отдельными GPU, очередями и настройками.

Цена вопроса

В карточках IBM опубликованы SafeTensors-файлы: около 17,6 ГБ для 8B и 60,0 ГБ для 30B. Это размер скачиваемых весов конкретных сборок, а не готовое требование к VRAM. При запуске добавляются KV-cache, временные буферы, контекст и память под одновременные запросы.

Основные 8B и 30B-карточки не предлагают официальные INT8/INT4-кванты с гарантированными требованиями к видеопамяти. Поэтому оценки «4 ГБ для INT4» здесь не следует выдавать за рекомендацию. Отдельная найденная GGUF-сборка 3B-preview — BF16, а не 4-битный квант.

Для 8B в исходном виде нужен запас сверх 17,6 ГБ VRAM; для 30B — сверх 60 ГБ или распределение по нескольким GPU. Финальный размер проверяется на целевом backend, с реальным контекстом, batch size и concurrency. Экономия Granite Switch в том, что адаптеры не требуют держать несколько полноразмерных моделей, но они не отменяют стоимость самой базовой модели и KV-cache.

Цена — это не только память. Нужно измерить время ASR, классификации, поиска, генерации и проверки, а также стоимость внешних вызовов CRM/RAG. Взамен нескольких сервисов можно получить один GPU-пул и единый endpoint, но только если качество на каждом этапе не окажется хуже, чем у специализированных моделей.

Встроенный речевой компонент 470M в карточке модели отмечен как English only и выдаёт строчные слова без пунктуации. Для русскоязычной или многоязычной поддержки потребуется отдельный ASR/fallback либо собственный тест. WER — долю ошибок в расшифровке — нужно считать отдельно по языкам, шуму и акцентам.

Перед production стоит зафиксировать: VRAM peak, длину контекста, batch size, число одновременных запросов, скорость токенов, WER, точность маршрутизации, долю безопасных автоответов и процент эскалаций.