ИИ в бизнесе - не панацея, а еще один лживый сотрудник. Заплатив за токены, готовьтесь платить инженерам - и платить много - за то, чтобы он не врал

ne-panaceya-a-eshche-odin-lzhivyj-sotrudnik-Zaplativ-za-tokeny-gotovtes-platit-inzheneram---i-platit-mnogo---za-t-06-12

KPMG отозвал отчет об ИИ. Не потому что ИИ оказался плох. А потому что ИИ оказался вруном.

Октябрь 2025 года. KPMG International публикует исследование "Total Experience: Redefining Excellence in the Age of Agentic AI" - 45 кейсов, десятки компаний, красивые цифры про внедрение агентского ИИ по всему миру. Швейцарский банк UBS якобы использует AI-агентов для инвестиционных советов. NHS Greater Manchester - для триажа пациентов. Transport for London - для предсказания пробок. Всё как в учебнике "ИИ для бизнеса", только учебник написал сам ИИ.

GPTZero - исследовательская группа, которая занимается детекцией галлюцинаций - взяла этот отчет и прошлась по каждой сноске. Результат: из 45 цитат только 5 оказались точными. Остальные 40 - фейк, парафраз или настолько искажены, что источник установить невозможно. Половина фактических утверждений в отчете - ложь.

UBS заявил FT: "Фактически неверно". Швейцарские железные дороги: "Нет, мы так не делаем". NHS: "Вы неправильно интерпретировали наш пресс-релиз". TfL: "Это вводит в заблуждение".

KPMG убрал отчет с сайта и заявил, что "серьезно относится к точности и целостности публикуемого контента". То есть до публикации - не очень серьезно относился.

Это не баг, это фича

Отдельный инцидент можно списать на невнимательность. Но KPMG - это не первый и не второй консалтинговый гигант, попавшийся на ИИ-галлюцинациях.

Deloitte, октябрь 2025. Отчет для правительства Австралии за 440 000 австралийских долларов. Фабрикованные цитаты, несуществующие источники. Использовался Azure OpenAI GPT-4o. Deloitte вернул часть контракта.

EY, май 2026. Исследование кибербезопасности "Points of Attack". 16 из 27 цитат - выдуманные. Причем этот отчет использовался консультантами EY для продажи услуг клиентам. То есть продавали кибербезопасность на основе фейкового исследования.

KPMG, июнь 2026. 40 из 45 цитат - фейк. Отчет уже процитировал чешский журнал, отраслевые издания, а теперь его утверждения всплывают в ответах ChatGPT и Gemini. Один фейковый документ - и информационное заражение пошло по цепочке.

Три из четырех крупнейших консалтинговых фирм мира. Три публичных провала. Одна и та же причина: ИИ сгенерировал контент, а человек не проверил.

Почему ИИ врет и почему ему верят

ИИ не врет в человеческом смысле. У него нет намерения обмануть. Он делает ровно то, на что запрограммирован: предсказывает наиболее вероятное продолжение текста. Если в обучающих данных часто встречается паттерн "название компании + использует + AI-агенты", модель с высокой вероятностью сгенерирует именно такой текст - даже если компания ничего подобного не делает.

Это называется "галлюцинация" - модель уверенно выдает выдуманное за факт. И вот тут начинается самое интересное.

GPTZero ввел термин "vibe citation" - цитата, которая выглядит правдоподобно, но является продуктом генеративного ИИ. Это может быть:

• Полностью выдуманный источник (несуществующий автор, название, журнал)

• Смешение двух реальных источников (авторы статьи A + название статьи B)

• Парафраз реального источника с измененным названием, датой или автором

В отчете KPMG модель систематически путала тему статьи с автором, перефразировала названия и подставляла неверные даты. Человек так не ошибается - у человека ошибки случайные. У модели - системные, типичные для LLM.

Но проблема не в том, что ИИ врет. Проблема в том, что люди верят. Отчет с логотипом KPMG - это знак качества. Его цитируют журналисты, на него ссылаются в презентациях, его подхватывают LLM. Каждый следующий шаг усиливает иллюзию достоверности.

Ирония, которая убивает

KPMG проводил собственное исследование доверия к ИИ совместно с University of Melbourne. Опросили 48 340 человек в 47 странах. Результаты:

• 73% респондентов сообщили о личной пользе от ИИ

• 56% признались, что совершали ошибки из-за непроверенных выводов ИИ

• 66% используют результаты работы ИИ без проверки точности

То есть KPMG точно знал о рисках. Исследование об этом - их же. И все равно выпустили отчет, который сам стал иллюстрацией к собственному исследованию.

Что происходит на самом деле

Давайте отвлечемся от KPMG и посмотрим на общую картину. ИИ в бизнесе - это не волшебная кнопка. Это инструмент, который:

1. Работает быстро - генерирует текст, код, аналитику быстрее человека

2. Не понимает, что пишет - предсказывает токены, а не истинность утверждений

3. Не несет ответственности - у модели нет понятия "я ошибся, мне стыдно"

4. Выглядит уверенно - галлюцинации подаются с той же уверенностью, что и факты

По сути, ИИ - это самый опасный сотрудник в компании. Он не врет из злого умысла. Он врет потому, что не знает, что правда, а что нет. И делает это так убедительно, что даже эксперты верят.

Кто платит за ошибки

Когда ИИ ошибается в коде - ломается сборка. Когда ИИ ошибается в аналитике - принимаются неверные решения. Когда ИИ ошибается в юридических документах - это уже реальный суд.

В случае с KPMG пострадала репутация. В случае с Deloitte - государственный контракт. В случае с EY - доверие клиентов, которым продавали услуги на основе фейкового исследования.

Но есть и менее очевидные потери. Фейковые данные из отчета KPMG уже попали в ответы ChatGPT и Gemini. Теперь, когда вы спросите у ИИ "использует ли UBS AI-агентов для инвестиционных советов?", есть шанс получить утвердительный ответ со ссылкой на уже отозванный отчет. Информационное заражение - это не метафора, это реальный механизм.

Что с этим делать

Если вы покупаете токены для ИИ - готовьтесь платить за инженеров, которые не дадут ИИ врать. Это не шутка и не преувеличение. Вот что это значит на практике.

Верификация каждого утверждения. Каждый факт, каждая цифра, каждая ссылка - должна быть проверена человеком. Не "наверное ОК", а проверена. Это время, это деньги, это люди.

Human-in-the-loop. ИИ генерирует - человек проверяет. ИИ предлагает - человек утверждает. ИИ анализирует - человек интерпретирует. Без этого ИИ - не помощник, а источник галлюцинаций.

Документирование процесса. Если ИИ использовался для подготовки документа - это должно быть задокументировано. Какие части написаны человеком, какие - ИИ, какие проверены. Без этого невозможно установить, откуда взялась ошибка.

Ответственность. Кто отвечает за ошибку ИИ? Разработчик модели? Компания, которая ее использовала? Конкретный сотрудник? Пока этот вопрос не решен на уровне процессов, ошибки будут повторяться.

Для кого это важно

CTO и технические директоры. Если вы внедряете ИИ в бизнес-процессы - вам нужны не только ML-инженеры, но и QA для ИИ. Люди, которые будут проверять каждый вывод модели перед тем, как он попадет к клиенту или в отчет.

Продакт-менеджеры. ИИ-фича в продукте - это не "подключили API и забыли". Это постоянный мониторинг, проверка качества, обработка ошибок. Бюджет на это должен закладываться изначально.

Финансисты и аналитики. Если вы принимаете решения на основе аналитики, сгенерированной ИИ - проверяйте источники. Каждую цифру. Каждую ссылку. Особенно если аналитика пришла от авторитетного источника. Как показывает практика, авторитетность источника не гарантирует точности данных.

DevOps и SRE. ИИ в инфраструктуре - это не только автоматизация, но и новые виды инцидентов. Когда ИИ галлюцинирует в коде - падает продакшен. Когда ИИ галлюцинирует в аналитике - принимаются неверные решения. Инструменты мониторинга должны учитывать оба сценария.

Что я сделал бы иначе

Если бы я проектировал процесс создания отчета в KPMG, я бы:

1. Запретил использовать ИИ для генерации цитат и ссылок без последующей ручной проверки

2. Ввел обязательную верификацию каждого факта через первоисточник

3. Добавил этап "красной команды" - человек, который целенаправленно ищет ошибки в отчете перед публикацией

4. Публиковал не только отчет, но и все источники в машиночитаемом виде - чтобы читатель мог проверить сам

Итог

ИИ - это не панацея. Это мощный инструмент, который требует контроля. Каждый токен, который вы покупаете, - это не только стоимость вычислений, но и стоимость людей, которые будут проверять, что ИИ не наврал.

KPMG, EY, Deloitte - три крупнейшие консалтинговые фирмы мира - уже заплатили за эту ошибку репутацией и деньгами. Урок простой: если вы не готовы платить за контроль качества ИИ - не готовы и к последствиям.

ИИ не заменит инженера. ИИ заменит инженера, который не умеет работать с ИИ. А инженер, который умеет, будет проверять каждую строчку - и за это ему платят.