раздел 02
Галлюцинации: что это и почему
Галлюцинация - это когда модель уверенно выдаёт ложное: несуществующий факт, выдуманную цитату, неверную цифру, ссылку на статью, которой нет, или функцию API, которой не существует. Звучит всё так же убедительно, как и правда.
Почему это происходит
Из механизма предсказания (раздел 01) следует прямо:
Модель оптимизирована на правдоподобное продолжение, а не на истину. И у неё нет встроенного сигнала «я не знаю» - пробел она заполняет самой вероятной догадкой.
То есть это не баг и не «глюк железа», а свойство подхода. Если в весах нет точного факта, модель не молчит - она подставляет то, что статистически похоже на правду.
Где врёт чаще, а где реже
Чаще галлюцинирует
Точные цифры, даты, имена, ссылки и цитаты, номера законов и пунктов, свежие события, узкие факты.
Реже галлюцинирует
Общие концепции, объяснения, структура, перевод, типовой код, креатив и переформулирование.
Как снижать риск
Дать источник (RAG)
Пусть отвечает по приложенному тексту, а не по памяти, и ссылается на него.
Делегировать инструментам
Точные расчёты - калькулятору/коду, свежие факты - поиску, а не модели.
Разрешить «не знаю»
Прямо просить: «если не уверен - так и скажи, не выдумывай». Снижает уверенную ложь.
Низкая температура
Для фактологии - температура к 0: меньше «творчества», стабильнее (раздел 04).
Проверка человеком
Цифры, ссылки, юридические формулировки - перепроверять перед использованием.
Структурный вывод
Просить строгий формат и поля - меньше места для свободной фантазии.