RDMA: доступ к памяти в обход CPU

Коротко: RDMA (Remote Direct Memory Access) это сетевой протокол, при котором одна машина читает и пишет память другой напрямую, без участия CPU и копирований в ядрах ОС. Для инференса это означает zero-copy передачу KV-кэша между узлами: GPU пишет кэш в сетевой адаптер, удалённый GPU читает его без staging в host-памяти. На Apple Silicon RDMA существует по Thunderbolt (до 8 кабелей как один линк, 23.9 ГБ/с на 4 кабелях, RTT ~8 мкс на 64B) и через DriverKit-драйверы ConnectX (RoCEv2). Узкое место не полоса, а staging: где передача идёт через host-память, там теряется 5-10x задержки.