Глоссарий
Continuous batching: батч, который меняется каждый шаг
Коротко: Continuous batching это схема батчинга инференса, при которой состав батча пересматривается на каждом шаге декодинга: завершившиеся запросы выходят сразу, новые входят не дожидаясь остальных. Против статического батчинга, где все ждут самого длинного запроса, утилизация GPU растёт в разы на реальном трафике с разбросом длин. Введена системой Orca, стала стандартом vLLM и других серверов.
Continuous batching это шедулинг, а не математика: модель та же, меняется то, кто в батче.
Второй компонент продуктивного шедулера, chunked prefill: длинный префилл нового запроса режется на куски и миксуется с декодами текущего батча, чтобы префилл не блокировал генерацию всех остальных. Настройка размера чанка это прямой компромисс между TTFT новых запросов и TPOT текущих. В модуле 08 курса эти политики собираются в симуляторе и сравниваются метриками на синтетическом трафике.