Параметры: температура и другие

Это «крутилки», которые управляют тем, как модель выбирает токены из распределения (раздел 01). В чат-интерфейсах они часто скрыты, но в API доступны.

Температура - главная крутилка

temperature масштабирует распределение перед выбором токена.

Типичный диапазон 0-2. Грубо: факты и код - около 0; письма и идеи - 0.7-1.

Остальные параметры

| Параметр | Что делает | Когда менять | | --- | --- | --- | | top_p | Сэмплинг только из верхушки распределения с суммарной вероятностью p (напр. 0.9) | Альтернатива температуре для контроля разнообразия | | top_k | Брать только из k самых вероятных токенов | Жёстко ограничить выбор | | max_tokens | Предел длины ответа (и стоимости) | Короткий ответ или контроль расходов | | frequency_penalty | Штраф за повторы слов | Если модель «зацикливается» | | presence_penalty | Поощрение новых тем | Чтобы не топталась на одном | | stop | Строки, на которых генерация останавливается | Чёткие границы ответа | | seed | Фиксирует случайность для воспроизводимости | Когда нужен повторяемый результат |