Что измерять?

Память, фактическую пропускную способность, TTFT, TPOT, p95 и hit-rate горячего набора; спецификация TOPS сама по себе не является доказательством ускорения.

Глоссарий

MoE expert offload: термин курса

Коротко: MoE expert offload это размещение экспертов mixture-of-experts по уровням памяти: горячие routed-эксперты держат ближе к вычислителю, холодные — в большой RAM или unified memory. Стоимость промаха определяется передачей экспертных весов и конкуренцией за память; поэтому измеряют hit-rate, wall-clock и p95, а не только объём сэкономленной VRAM. KTransformers — официальный open-source пример CPU-GPU гетерогенного инференса и fine-tuning.

MoE expert offload это размещение экспертов mixture-of-experts по уровням памяти: горячие routed-эксперты держат ближе к вычислителю, холодные — в большой RAM или unified memory. Стоимость промаха определяется передачей экспертных весов и конкуренцией за память; поэтому измеряют hit-rate, wall-clock и p95, а не только объём сэкономленной VRAM. KTransformers — официальный open-source пример CPU-GPU гетерогенного инференса и fine-tuning.