Бенчмарк: измерение, а не мнение

Коротко: Бенчмарк это стандартизированный замер качества или скорости: фиксированный набор задач, процедура прогона и метрика, которая сводит результат в число, сравнимое между системами. Честный бенчмарк фиксирует всё, что влияет на цифру: версии, параметры (температуру, квантование), железо, выборку, число прогонов и метрику; меняется только сравниваемое. Для LLM бенчмарк обычно комплектуют харнесом: без него одинаковые модели на разных промптах дают расхождения больше, чем вся разница между моделями. Правило чтения чужих цифр: нет методики, нет результата.