раздел 06

Шпаргалка

Параметры

| Параметр | Что делает | Под факты | Под креатив | | --- | --- | --- | --- | | temperature | Случайность выбора токена | к 0 | 0.9-1.2 | | top_p | Сэмплинг из верхушки распределения | ниже | выше | | max_tokens | Предел длины ответа | по нужде | по нужде | | seed | Воспроизводимость | задать | не нужно | | stop | Где остановить генерацию | по нужде | по нужде |

Крутите одно из temperature / top_p, не оба. Дефолты не трогайте без причины.

Галлюцинации: признаки и лечение

  • Признак: уверенные точные факты, цифры, ссылки, цитаты - особенно по узким темам.
  • Лечение: источник в контекст (RAG), инструменты для расчётов и поиска, «не знаешь - скажи», низкая температура, проверка человеком.

Особенности моделей

| Особенность | Суть | Что делать | | --- | --- | --- | | Галлюцинации | Правдоподобное вместо правдивого | Источник, проверка | | Зубчатый интеллект | Сильна и слаба непредсказуемо | Проверять и простое | | Поддакивание | Соглашается под давлением | Спрашивать нейтрально | | Cutoff | Не знает свежего | Давать контекст/поиск | | Нестабильность | Разные ответы на один запрос | temp 0, seed |

Словарь терминов

| Термин | Что это | | --- | --- | | Токен | Кусочек слова, единица генерации. | | Сэмплинг | Случайный выбор токена из распределения. | | Температура | Степень случайности выбора. | | Галлюцинация | Уверенно выдуманный факт. | | Knowledge cutoff | Дата, до которой модель обучена. | | Зубчатый интеллект | Неровные способности: где-то сильна, где-то нет. |

Куда дальше