раздел 01

Как устроен чат внутри

Когда вы отправляете сообщение, модель видит не только его. На каждом шаге ей передаётся всё контекстное окно целиком - и из этого она строит ответ.

Из чего складывается контекст

1
Системный промпт
Скрытая инструкция от сервиса: кто такая модель, как себя вести, что можно и нельзя. Вы её обычно не видите, но она всегда в начале.
2
История сообщений
Все ваши реплики и ответы модели с начала этого чата. Каждое новое сообщение добавляется сюда.
3
Текущий ввод
То, что вы только что написали. Модель читает всё вместе - промпт, историю и ваш ввод - и отвечает.

Окно растёт, цена растёт

Каждое новое сообщение - и ваше, и ответ модели - добавляется в историю. Значит, с каждым шагом контекст становится длиннее. А модель на каждый запрос перечитывает весь контекст заново.

Отсюда простое следствие: чем длиннее чат, тем больше токенов уходит на каждый запрос и тем дороже он обходится. В длинном чате даже короткий вопрос тянет за собой всю предыдущую историю. Если у вас есть лимиты или платный тариф, длинные чаты съедают их быстрее.

короткий чат
Дёшево и быстро
Мало истории - мало токенов на запрос. Модель не отвлекается на лишнее.
длинный чат
Дороже и медленнее
Вся история перечитывается каждый раз. Больше токенов, выше цена, риск переполнить окно.

Почему новый чат - это чистый лист

Новый чат стартует с пустой историей: только системный промпт и ваш первый ввод. Старая история туда не попадает.

Это и плюс, и минус - смотря что вам нужно.

Плюс: сбросить мусор
Если чат оброс лишними деталями, неудачными попытками и путаницей - новый чат чистит контекст. Модель перестаёт цепляться за старое.
Минус: потерял контекст
Всё, что наработали в прошлом чате, для нового не существует. Если это нужно - придётся перенести вручную или другим способом.

Когда контекст замусорился или вы сменили тему - новый чат полезен. Когда хотите продолжить начатое - его нужно как-то перенести. Об этом следующая глава.