Глоссарий
Тензорные ядра: ускорители матричных умножений и их программные лимиты
Коротко: Тензорные ядра - блоки внутри GPU, специализированные на матричных умножениях с накоплением, основных операциях нейросетей. На потребительских GeForce поколения Turing, Ampere и Ada NVIDIA ограничивает скорость FP16/BF16/TF32 с FP32-аккумуляцией примерно вдвое относительно того же кремния в профессиональных картах. На декод LLM это не влияет (он упирается в память), но prefill, дообучение и генерация изображений идут именно через эти форматы, поэтому снятие лимита даёт +25-55% на prefill. На картах Blackwell лимит отсутствует. INT8/INT4-пути идут мимо FP32-аккумуляции и ускорения не получают.
Тензорное ядро за такт выполняет матричную операцию, на которую обычные CUDA-ядра тратят десятки инструкций. Весь инференс и обучение нейросетей - последовательности таких операций, поэтому разница между "тензорные ядра на половинной скорости" и "на полной" - это разница между половиной и полной вычислительной мощностью карты в FP16-пути.
Где именно лежит лимит
Лимит установлен не на все форматы, а на конкретную комбинацию: FP16, BF16 и TF32 с накоплением в FP32. INT8, INT4 и FP16 с накоплением в FP16 работают на полной скорости даже на стоковой GeForce. Поэтому эффект разблокировки зависит от стека: vLLM с W4A16-реквантом получает прирост на prefill, чистый GGUF Q4 в llama.cpp - почти ничего.
Проверка разблокировки - синтетический замер матричного умножения до и после: для Ampere рост BF16-пути в 1,6-2 раза виден сразу и подтверждает, что модуль сработал, до всяких LLM-бенчей.