Софтмакс: из баллов в вероятности

Коротко: Софтмакс превращает набор сырых оценок (логитов) в вероятности: каждый вариант получает долю от единицы, все доли в сумме дают ровно сто процентов. У кого балл выше, у того доля больше, но и аутсайдеры не обнуляются полностью. Функция экспоненциальная: небольшое преимущество в логитах заметно меняет расклад, а большое делает почти монополию. В классификаторе софтмакс стоит последним этажом, и его выход сравнивается с правильным ответом кросс-энтропией. При вычислении из логитов вычитают максимум, иначе экспоненты переполняют разрядную сетку.