раздел 05
Шпаргалка
Весь курс на одной странице: что держать в голове, чтобы не удивляться счетам и оборванным ответам.
Числа-ориентиры
| Что | Ориентир |
|---|---|
| Английский | 1 токен ≈ 4 символа ≈ 0.75 слова |
| 100 слов (англ.) | ≈ 130 токенов |
| Русский | дороже: ≈ 2-3 символа на токен |
| Картинка | от сотен до пары тысяч токенов |
| Окно современных моделей | ≈ 128K - 1M токенов |
| Цена | за 1M токенов, выход дороже входа |
Все числа - ориентиры для интуиции. Точные значения смотрите в документации конкретной модели.
Правила, которые экономят деньги
- Выбирайте модель под задачу. Самый сильный рычаг: разница в цене - десятки раз.
- Не раздувайте контекст. Только то, что нужно для ответа. Лишнее - это деньги и иногда худшее качество.
- Ограничивайте длину ответа. Выход дороже входа, держите его коротким.
- Кэшируйте повторяющийся контекст. Большой общий префикс - в начало запроса.
- Сжимайте историю диалога. Резюме вместо полной переписки.
Что объясняют токены
- Большой счёт за короткий вопрос - платите за весь контекст, а не за последнее сообщение.
- Модель «забыла» начало - вытеснение из контекстного окна.
- Ответ оборвался - упёрся в лимит выходных токенов.
- Русский дороже английского - токенизатор режет кириллицу на больше кусков.
- Фото стоит как страница текста - картинка превращается в сотни-тысячи токенов.