курс 101 для чайников

Токены:
за что вы платите в LLM

Модель читает текст не словами и не буквами, а токенами. В токенах измеряется память модели и считаются деньги. Этот курс по порядку объясняет, что такое токен, откуда берётся цена и почему модель иногда «забывает» начало разговора. Без жаргона, на пальцах.

Маршрут один и тот же: токен → токенизация → виды токенов → контекстное окно → стоимость. От «что это вообще» до «как платить меньше».

Начать с начала →Сразу к шпаргалке

о чём этот курс

Списали больше, чем я ожидал

За короткий вопрос ушло заметно больше денег. Разберёмся, как считается цена и почему ответ дороже запроса.

Модель «забыла» начало диалога

Это не баг. Так работает контекстное окно: старое вытесняется новым. Поймём, когда это случается.

Слышал слова токен, контекст, кэш

Но не понимаю, как они связаны со счётом. Объясняем простым языком, с числами-ориентирами.

программа курса

Введение

1 урок

Токен - это единица, в которой модель читает текст, думает и считает деньги. Зачем вам про это знать, даже если вы не программист.

· Зачем понимать токены

Что такое токен

1 урок

Как текст превращается в токены. Почему модель видит не слова и не буквы, а куски где-то посередине.

· Токенизация на примерах

Виды токенов

1 урок

Входные и выходные, токены для разных языков, мультимодальные. Картинка и звук тоже превращаются в токены.

· Мультимодальные токены

Контекстное окно

1 урок

Сколько токенов модель держит в голове одновременно. Как окно наполняется и что происходит, когда оно переполнено.

· Что происходит при переполнении

Стоимость

2 урока

Как считается цена: за миллион токенов, отдельно вход и выход. Почему ответ дороже запроса и где можно сэкономить.

· Кэширование контекста· Как экономить токены

Шпаргалка

1 урок

Всё на одной странице: словарь терминов и практические правила, которые стоит держать в голове.

· Словарь терминов