раздел 05

Как настраивать под задачу

Теория ясна - теперь практика. Главный выбор - температура под тип задачи.

Факты, извлечение, классификация
Температура к 0. Нужна точность и повторяемость, а не фантазия.
Код
Низкая температура. Меньше «креатива» - меньше выдуманных функций и багов.
Тексты, письма
Средняя (около 0.7). Живо, но без хаоса.
Брейншторм, идеи
Выше (0.9-1.2). Нужно разнообразие, ошибки не критичны.
Нужна повторяемость
Температура 0 и seed (если есть). Одинаковый вход - почти одинаковый выход.
Длинный ответ обрывается
Поднять max_tokens. Это не про качество, а про лимит длины.

Не только крутилки

  • System prompt влияет сильнее многих параметров: роль, тон, правила и «отвечай только по источнику» меняют поведение надёжнее, чем тонкая настройка температуры. См. Промпт-инжиниринг.
  • Контекст: что и как положили в окно - половина результата. См. Контекстное окно.
  • Выбор модели под задачу важнее микронастроек. См. Выбор модели.

Главное правило