раздел 06
Шпаргалка
Параметры
| Параметр | Что делает | Под факты | Под креатив |
|---|---|---|---|
temperature | Случайность выбора токена | к 0 | 0.9-1.2 |
top_p | Сэмплинг из верхушки распределения | ниже | выше |
max_tokens | Предел длины ответа | по нужде | по нужде |
seed | Воспроизводимость | задать | не нужно |
stop | Где остановить генерацию | по нужде | по нужде |
Крутите одно из temperature / top_p, не оба. Дефолты не трогайте без причины.
Галлюцинации: признаки и лечение
- Признак: уверенные точные факты, цифры, ссылки, цитаты - особенно по узким темам.
- Лечение: источник в контекст (RAG), инструменты для расчётов и поиска, «не знаешь - скажи», низкая температура, проверка человеком.
Особенности моделей
| Особенность | Суть | Что делать |
|---|---|---|
| Галлюцинации | Правдоподобное вместо правдивого | Источник, проверка |
| Зубчатый интеллект | Сильна и слаба непредсказуемо | Проверять и простое |
| Поддакивание | Соглашается под давлением | Спрашивать нейтрально |
| Cutoff | Не знает свежего | Давать контекст/поиск |
| Нестабильность | Разные ответы на один запрос | temp 0, seed |
Словарь терминов
| Термин | Что это |
|---|---|
| Токен | Кусочек слова, единица генерации. |
| Сэмплинг | Случайный выбор токена из распределения. |
| Температура | Степень случайности выбора. |
| Галлюцинация | Уверенно выдуманный факт. |
| Knowledge cutoff | Дата, до которой модель обучена. |
| Зубчатый интеллект | Неровные способности: где-то сильна, где-то нет. |
Куда дальше
- Токены - за что платите и как считается.
- Промпт-инжиниринг - как ставить задачу.
- Контекстное окно - память модели и её заполнение.
- Выбор модели - какую модель брать под задачу.