Логит: сырая оценка класса до софтмакса

Коротко: Логит это сырая оценка, которую нейросеть выдаёт для каждого варианта ответа до всякой нормировки: просто число, положительное или отрицательное. Чем выше логит варианта, тем вероятнее модель выберет именно его. Сам по себе логит мало о чём говорит: смысл ему придаёт связка с остальными логитами. Софтмакс переводит набор логитов в вероятности, которые в сумме дают единицу. Запас логита правильного ответа над остальными называют логит-маржой: по ней меряют, насколько модель уверена в своём ответе, и именно маржа управляет численными эффектами в кросс-энтропии.