Глоссарий
Токенизатор: текст в числа и обратно
Коротко: Токенизатор это конвертер между текстом и последовательностью целых чисел, с которыми работает модель. Современные модели используют BPE-семейство: словарь из десятков тысяч сабслов строится слиянием частых пар, текст режется на сабслова и каждый превращается в id из словаря. Число токенов определяет стоимость и длину контекста: одна и та же строка на разных токенизаторах даёт разное число токенов, русский язык традиционно дороже английского.
Токенизатор это первый и последний слой любого инференса: текст приходит строкой и уходит строкой, внутри всё числа.
Для системного инженера токенизатор интересен не устройством BPE, а метриками: токенов на байт для целевого языка, поведение на коде и разметке, стоимость токенизации в конвейере (она копеечная, но синхронная). В курсе токенизатор берётся готовый из transformers/Qwen, а строится всё, что после него: embeddings, forward, сэмплер, декодер.