Глоссарий
Tensor parallel: одна матрица на несколько GPU
Коротко: Tensor parallel это параллелизм, при котором отдельные слои модели разрезаются между устройствами: веса attention делятся по головам, MLP по колонкам, и каждое устройство считает свою часть. После каждого блока нужен all-reduce для сборки результата, поэтому схема чувствительна к скорости связи: по NVLink работает хорошо, по PCIe заметно деградирует. TP уменьшает латентность одного запроса, а не только throughput.
Tensor parallel отвечает на вопрос «модель не влезает в одну карту, но хочется ещё и скорость». Матрицы весов режутся так, чтобы частичные результаты складывались all-reduce один раз на блок.
Инференсная специфика: при декодинге каждый токен проходит все слои, поэтому коммуникация после каждого блока попадает в критический путь. Отсюда правило: TP живёт внутри узла с NVLink, между узлами берут pipeline или expert parallel. В курсе TP эмулируется на одной машине: разрез attention-весов по головам с последующей сверкой с полным forward.