Что такое токен и зачем про это знать

Вы задали модели короткий вопрос, а с баланса списали больше, чем казалось логичным. Или диалог шёл хорошо, но в какой-то момент модель «забыла», о чём вы договаривались в начале. Оба случая - про одно и то же. Про токены.

Токен - это единица, в которой языковая модель видит текст, думает и считает деньги. Не слово, не буква, не предложение, а кусок где-то посередине. Всё, что вы отправляете модели и всё, что она отвечает, сначала превращается в токены. От их количества зависит и цена запроса, и то, сколько модель вообще способна удержать в голове за раз.

Зачем это понимать

Можно пользоваться чат-ботом и ни разу не услышать слово «токен». Но как только вы:

• платите за API по счётчику, а не по подписке,
• собираете своё приложение поверх LLM,
• грузите в модель большие документы,
• или просто хотите понять, почему ответ оборвался на полуслове,

вам придётся думать в токенах. Это базовая единица, через которую устроено всё остальное: лимиты, цена, скорость, память модели.

Что будет в курсе

Идём от простого к сложному, каждый раздел опирается на предыдущий:

• 00 - что такое токен и зачем это понимать. Вы здесь.
• 01 - как текст превращается в токены. Токенизация на примерах, почему русский «дороже» английского.
• 02 - виды токенов: входные и выходные, разные языки, мультимодальные (картинки и звук тоже считаются в токенах).
• 03 - контекстное окно: сколько модель держит в голове и что происходит при переполнении.
• 04 - стоимость: как считается цена, почему вывод дороже, кэширование и как экономить.
• 05 - шпаргалка: словарь терминов и практические правила.

Каждая страница построена одинаково: что это, зачем нужно, как работает, пример с числами и где люди обычно ошибаются.

Подразделы