раздел 04
Параметры: температура и другие
Это «крутилки», которые управляют тем, как модель выбирает токены из распределения (раздел 01). В чат-интерфейсах они часто скрыты, но в API доступны.
Температура - главная крутилка
temperature масштабирует распределение перед выбором токена.
Низкая (к 0)
Распределение «острое»: модель берёт самые вероятные токены. Ответы предсказуемые, сфокусированные, повторяемые. Для фактов, кода, извлечения.
Высокая (около 1 и выше)
Распределение «плоское»: больше случайности и разнообразия, более креативно - но больше ошибок и отклонений. Для текстов, идей, брейншторма.
Типичный диапазон 0-2. Грубо: факты и код - около 0; письма и идеи - 0.7-1.
Остальные параметры
| Параметр | Что делает | Когда менять |
|---|---|---|
top_p | Сэмплинг только из верхушки распределения с суммарной вероятностью p (напр. 0.9) | Альтернатива температуре для контроля разнообразия |
top_k | Брать только из k самых вероятных токенов | Жёстко ограничить выбор |
max_tokens | Предел длины ответа (и стоимости) | Короткий ответ или контроль расходов |
frequency_penalty | Штраф за повторы слов | Если модель «зацикливается» |
presence_penalty | Поощрение новых тем | Чтобы не топталась на одном |
stop | Строки, на которых генерация останавливается | Чёткие границы ответа |
seed | Фиксирует случайность для воспроизводимости | Когда нужен повторяемый результат |