Глоссарий
TTFT: время до первого токена и что его задерживает
Коротко: TTFT (Time To First Token) - время от отправки запроса до первого токена ответа. Складывается из сетевого пути, очереди на сервере и prefill - обработки промпта моделью. На коротких промптах TTFT почти целиком сетевой, на длинных (10K+ токенов) доминирует prefill: модель молчит, пока читает. Для агентных систем с гигантскими промптами TTFT - главная воспринимаемая скорость: пользователь и вышестоящий агент ждут именно первый токен, декод-скорость после него вторична. Типичный приём снижения - кэш префикса: системный промпт и инструменты обрабатываются один раз и переиспользуются.
TTFT - метрика, которую пользователь ощущает как "модель думает". Технически эта пауза - почти всегда prefill: модель читает промпт и строит KV-кэш до генерации первого токена. Сетевой путь и очередь добавляют свою долю, но на промптах в десятки тысяч токенов вычисления доминируют.
Где смотреть цифру
В серверных логах vLLM и llama.cpp TTFT виден отдельно от TPOT (время на токен decode). При сравнении движков и карт TTFT без указания длины промпта бессмысленен: замер на 200 токенах и на 32K - это разные измерения. В бенчмарках всегда фиксировать длину промпта рядом с TTFT.
Для агентных пайплайнов TTFT важнее декод-скорости: вход в 30-80 тысяч токенов на каждый шаг цикла делает prefill главной статьёй времени. Снижать его можно кэшем префикса, спекулятивным prefill, анлоком тензорных ядер и выбором карты с высокой вычислительной, а не только мнемонической, производительностью.