Инференс (inference): работа обученной модели

Коротко: Инференс это этап использования уже обученной модели: ей подают вход и получают выход. Весь локальный и облачный LLM-стек это инфраструктура инференса: загрузка весов в память, KV-кэш, генерация токен за токеном, планировщик запросов. Инференс отличают от обучения (training): веса заморожены, вычисления дешевле, но требования к задержке и памяти другие. Скорость инференса меряют в токенах в секунду, стоимость в цене за миллион токенов, а качество инференса зависит не только от модели, но и от квантования, движка и длины контекста.