Галлюцинации и
параметры моделей
Модель - не калькулятор и не база знаний. У неё есть характерные особенности (галлюцинации, зубчатый интеллект, поддакивание) и крутилки (температура и другие). Этот гайд объясняет, почему модель так себя ведёт и как этим управлять - с базовой наукой простыми словами.
для кого этот курс
программа курса
Модель - не калькулятор и не база знаний
Почему важно понимать поведение модели: у неё есть характерные особенности (галлюцинации и другие) и крутилки (температура и другие). Что разберём в курсе.
Базовая наука: как модель выбирает слова
Предсказание следующего токена, распределение вероятностей и сэмплинг (greedy vs сэмплирование). Откуда «знания», почему это статистическое продолжение, а не понимание.
Галлюцинации: что это и почему
Модель уверенно выдаёт выдуманное. Почему так происходит, где это случается чаще и реже, и как снижать риск: RAG, инструменты, проверка, низкая температура.
Другие важные особенности
Зубчатый интеллект, поддакивание (sycophancy), устаревшее знание (cutoff), чувствительность к формулировке, нестабильность, потеря в середине контекста, предвзятости.
Параметры: температура и другие
Разбор крутилок декодирования: temperature, top_p, top_k, max_tokens, frequency/presence_penalty, stop, seed. Что каждый делает и когда его менять.
Как настраивать под задачу
Что ставить для фактов и кода, что - для текстов и брейншторма, когда нужна повторяемость, как влияет system prompt и почему не стоит перекручивать дефолты.
Шпаргалка
Таблица параметров, признаки и лечение галлюцинаций, список особенностей и глоссарий на одной странице.