Когда хватит промпта вместо дообучения?

Почти всегда. Если задача решается инструкцией, примерами в контексте или поиском по базе, промпт дешевле, быстрее итераций и не портит общие способности модели. Дообучение оправдано, когда нужное поведение устойчиво не помещается в контекст или промпт приходится повторять в каждом запросе ценой целого модуля.

Глоссарий

Дообучение: свои данные меняют веса

Коротко: Дообучение это продолжение обучения готовой модели на своих данных, чтобы поменять её поведение под задачу: стиль, формат ответа, предметную область, редкие форматы. В отличие от промпта, дообучение меняет веса, поэтому результат держится без длинных инструкций в каждом запросе. Малые наборы обычно гоняют через LoRA и похожие адаптеры: обучается небольшая добавка к весам, а не вся модель. Ловушка: дообучение учит форме и новым знаниям, но не лечит галлюцинации и не заменяет поиск по базе, когда факты должны быть свежими.

Рабочий цикл дообучения выглядит скучно и именно поэтому работает: собрать пару сотен честных примеров, обучить адаптер, замерить на отложенном наборе и только потом показывать продакшену. Сильные результаты почти всегда дают качество примеров, а не размер датасета.

Отдельная тема это редкие форматы: рукописные символы, узкая нотация, внутренний жаргон. Там дообучение даёт то, чего не добиться ни промптом, ни примерами: модель перестаёт путаться в базовых символах предметной области.