Чем goodput лучше throughput?

Throughput может быть высоким при половине запросов вне SLO — система «работает», но пользователи ждут. Goodput связывает скорость с договорным уровнем сервиса и показывает реальную ёмкость кластера под SLA.

Глоссарий

Goodput: полезная пропускная способность с SLO

Коротко: Goodput это доля запросов, обслуженных с соблюдением заданных SLO по задержке (например TTFT < 1000 мс и TPOT < 50 мс). В отличие от голого throughput показывает, сколько запросов реально полезны пользователю, а не исполнены формально. В vLLM штатная опция бенчмарка: vllm bench serve --goodput ttft:1000 tpot:50. Дополняется различием TPOT (среднее по запросу) / ITL (распределение межтокенных интервалов) / stall (tail-событие): среднее скрывает tail-столлы, которые пользователь ощущает как зависания.

Goodput это доля запросов, обслуженных с соблюдением заданных SLO по задержке (например TTFT < 1000 мс и TPOT < 50 мс). В отличие от голого throughput показывает, сколько запросов реально полезны пользователю, а не исполнены формально. В vLLM штатная опция бенчмарка: vllm bench serve --goodput ttft:1000 tpot:50. Дополняется различием TPOT (среднее по запросу) / ITL (распределение межтокенных интервалов) / stall (tail-событие): среднее скрывает tail-столлы, которые пользователь ощущает как зависания.