Шпаргалка

Весь курс на одной странице: что держать в голове, чтобы не удивляться счетам и оборванным ответам.

Числа-ориентиры

| Что | Ориентир | | --- | --- | | Английский | 1 токен ≈ 4 символа ≈ 0.75 слова | | 100 слов (англ.) | ≈ 130 токенов | | Русский | дороже: ≈ 2-3 символа на токен | | Картинка | от сотен до пары тысяч токенов | | Окно современных моделей | ≈ 128K - 1M токенов | | Цена | за 1M токенов, выход дороже входа |

Все числа - ориентиры для интуиции. Точные значения смотрите в документации конкретной модели.

Правила, которые экономят деньги

1. Выбирайте модель под задачу. Самый сильный рычаг: разница в цене - десятки раз.
2. Не раздувайте контекст. Только то, что нужно для ответа. Лишнее - это деньги и иногда худшее качество.
3. Ограничивайте длину ответа. Выход дороже входа, держите его коротким.
4. Кэшируйте повторяющийся контекст. Большой общий префикс - в начало запроса.
5. Сжимайте историю диалога. Резюме вместо полной переписки.

Что объясняют токены

• Большой счёт за короткий вопрос - платите за весь контекст, а не за последнее сообщение.
• Модель «забыла» начало - вытеснение из контекстного окна.
• Ответ оборвался - упёрся в лимит выходных токенов.
• Русский дороже английского - токенизатор режет кириллицу на больше кусков.
• Фото стоит как страница текста - картинка превращается в сотни-тысячи токенов.

Подразделы