Что измерять?

Память, фактическую пропускную способность, TTFT, TPOT, p95 и hit-rate горячего набора; спецификация TOPS сама по себе не является доказательством ускорения.

Глоссарий

Strix Halo / Ryzen AI Max+ 395: термин курса

Коротко: AMD Ryzen AI Max+ 395 на платформе Strix Halo это unified-memory устройство с 16 ядрами Zen 5, поддержкой до 128 ГБ LPDDR5X-8000, Radeon 8060S и NPU XDNA 2. Для LLM важно проверить, сколько памяти backend фактически отдаёт GPU, потому что консервативный UMA/GTT placement может оставить слои на CPU и снизить decode. Настройка памяти, ROCm/llama.cpp backend и измерение tokens/s важнее номинального числа TOPS.

AMD Ryzen AI Max+ 395 на платформе Strix Halo это unified-memory устройство с 16 ядрами Zen 5, поддержкой до 128 ГБ LPDDR5X-8000, Radeon 8060S и NPU XDNA 2. Для LLM важно проверить, сколько памяти backend фактически отдаёт GPU, потому что консервативный UMA/GTT placement может оставить слои на CPU и снизить decode. Настройка памяти, ROCm/llama.cpp backend и измерение tokens/s важнее номинального числа TOPS.