Опубликовано
Почему модель уверена в неверном решении и Chain-of-Thought не помогает
Автор: Гусев Николай [портфолио]
Дата обновления не указана в исходнике.
Темы: prompting
Почему модель уверена в неверном решении и Chain-of-Thought не помогает Сложность: продвинутая
CoT (цепочка рассуждений) выглядит как «модель думает вслух». Но исследования 2023 года показали: это нарратив, а не трассировка.
▪ Turpin et al. (2023): CoT может систематически искажать реальные причины предсказания модели. Цитата: «explanations can be unfaithful» ▪ Sharma et al. (2023): CoT — пост-хок рационализация. Модель сначала предсказывает ответ, потом строит обоснование ▪ Lanham et al. (2023): модель выдаёт верный ответ даже с неверной CoT — цепочка не обязательна для рассуждения
Плюс калибровка: Kadavath (Anthropic, 2022) — модель переоценивает себя на сложных задачах. Xiong (2023) — CoT не улучшает, а иногда ухудшает калибровку.
Вывод: CoT — не мышление, а повествование. Проверяйте решение, а не его обоснование.
🌐 hermes-agent.ru ℹ️ Хотите попробовать, но нет времени разбираться? Напишите в контакты на сайте — поможем с настройкой и подбором сценария под ваши задачи.