TTFT/TPOT: две задержки инференса

Коротко: TTFT (Time To First Token) — задержка до первого токена ответа: доминирует префилл и очередь шедулера, определяет «отзывчивость» системы. TPOT (Time Per Output Token) — среднее время на токен после первого: доминирует decode-пропускная способность памяти, определяет скорость чтения ответа. Для интерактивных агентов нормой считают TTFT до ~1 с и TPOT до ~50 мс. Обе метрики обязаны публиковаться перцентилями (p50/p95/p99), а не средним: под bursty-нагрузкой хвост p99 отличается от медианы в разы, а пользователь чувствует именно хвост. Смотрите также: goodput — доля запросов, уложившихся в SLO по обеим метрикам.