MoE (Mixture of Experts): модель, в которой работает только часть нейронов

Коротко: MoE (Mixture of Experts) это архитектура языковой модели, где вместо одного плотного блока преобразования стоит набор «экспертов» и маршрутизатор, который для каждого токена выбирает нескольких из них. Общее число параметров у модели большое, но в каждом конкретном проходе активна лишь малая часть: так 400B-модель может тратить при инференсе вычисления, сопоставимые с 40B-й. Плюс: качество крупной модели при стоимости маленькой. Минус: все эксперты всё равно должны лежать в памяти, поэтому MoE экономит вычисления, но не VRAM.