Опубликовано
Почему модель уверена в неверном решении и Chain-of-Thought не помогает
Автор: Гусев Николай [портфолио]
Темы: prompting
Предыдущая статья закончилась вопросом: почему "отличное решение" от агента - это шум, а не сигнал?
Короткий ответ: потому что CoT (цепочка рассуждений) - не трассировка мыслительного процесса модели, а пост-хок рационализация. И модель систематически переоценивает свою уверенность на сложных задачах.
Разберём по порядку.
Как на самом деле работает LLM
LLM - это авторегрессивный предсказатель токенов. Она не "думает", не "рассуждает", не имеет внутреннего состояния истины. Она получает на вход последовательность токенов и предсказывает следующий. Потом ещё один. И ещё.
Внутренних символьных репрезентаций или гарантированной логической связности нет. Есть только ассоциативное соединение токенов по убыванию вероятности (perplexity). Рассуждение - эмерджентное свойство, побочный эффект, а не архитектурная особенность.
Когда модель пишет "следовательно", "таким образом", "логично предположить" - она не выполняет логическую операцию. Она воспроизводит паттерн текста, который в обучающей выборке чаще всего следовал после похожего контекста.
Почему CoT - это не мышление, а нарратив
В 2023 году вышло три ключевых исследования, которые разобрали этот механизм.
Turpin et al. (2023) "Faithful vs. Plausible Explanations in LLM Reasoning" - показали, что CoT-объяснения могут быть систематически неверны. Модель генерирует убедительное, но полностью ложное обоснование, подогнанное под заранее предсказанный ответ.
Цитата: "CoT explanations can be unfaithful: they can systematically misrepresent the true reasons for a model's predictions."
Они провели эксперимент: изменяли имена и поверхностные детали в задачах. CoT послушно перестраивалась, объясняя неверный ответ так же уверенно, как верный.
Sharma et al. (2023) "Chain-of-Thought Reasoning is a Post-Hoc Rationalization" - показали, что правильные CoT-рассуждения часто предшествуют правильному ответу, но это не причинно-следственная связь. При атаках (добавлении отвлекающих фраз) CoT начинает оправдывать неверный ответ с той же уверенностью.
Цитата: "CoT is a post-hoc rationalization rather than the model's actual reasoning process."
Lanham et al. (2023) "Measuring Faithfulness of Chain-of-Thought Reasoning" - провели масштабное исследование верности CoT. Обнаружили: модель может предсказать правильный ответ даже при неверной или обрывочной цепочке рассуждений. CoT - это повествование, а не трассировка.
Все три работы доступны на arxiv, ссылки в конце статьи.
Калибровка уверенности: модель не знает, что она не знает
Если CoT не отражает реальный процесс принятия решения, можем ли мы хотя бы доверять уверенности модели?
Kadavath et al. (2022, Anthropic) "Language Models (Mostly) Know What They Know" - показали: модель хорошо калибрует уверенность на простых задачах вроде арифметики. Но на сложных, неоднозначных задачах - систематически переоценивает себя.
Чем сложнее задача - тем шире разрыв между "я уверен" и реальной точностью. Причём модель не подаёт сигнала о том, что она в зоне неопределённости.
Xiong et al. (2023) "Calibration of Confidence in LLMs" - добавили: использование CoT не улучшает калибровку, а иногда ухудшает её. Длинные, уверенные цепочки рассуждений вводят пользователя в заблуждение - выглядят убедительно, но могут быть полностью неверны.
Что это значит на практике
CoT - это нарратив, который модель генерирует пост-фактум, объясняя уже предсказанный ответ. Он может быть верным, может быть неверным - и вы не отличите одно от другого по тексту.
Уверенность модели - не метрика качества. Модель уверена в неверном решении так же, как в верном. У неё нет внутреннего детектора ошибок.
Pipeline из предыдущей статьи - ADR, premortem, prism, код-ревью - не паранойя. Это единственный способ обнаружить ложную уверенность до того, как решение уйдёт в прод.
Потому что модель не скажет "я не уверена". Она скажет "отличное решение, сеньор-левел". И будет права ровно в той же мере, в какой CoT отражает её реальный мыслительный процесс - то есть в произвольной.
Ссылки на исследования
▪ Turpin et al. (2023) - arxiv.org/abs/2303.06968
▪ Sharma et al. (2023) - arxiv.org/abs/2307.15983
▪ Lanham et al. (2023) - arxiv.org/abs/2309.15500
▪ Kadavath et al. (2022) - arxiv.org/abs/2207.05221
▪ Xiong et al. (2023) - arxiv.org/abs/2211.11559
📊 Схема: Что на самом деле происходит внутри LLM
ℹ️ Хотите попробовать Hermes Agent, но нет времени разбираться? Напишите в контакты на сайте - поможем с настройкой и подбором сценария под ваши задачи.