раздел 04

Где модели врут

Самая важная слабость для бизнеса. Если запомнить из курса одну вещь - пусть это будет она.

Галлюцинации

Модель может уверенно сообщить: «Согласно статье 47.3 ГК РФ, требуется...» - а такой статьи не существует. Это не баг, это прямое следствие принципа из раздела 02.

Модель предсказывает вероятное слово. Она не отличает «знаю» от «не знаю» - и говорит уверенно в обоих случаях.

Важно понимать, где риск выше, а где ниже:

Чаще галлюцинирует
Точные цифры, ссылки, имена, законы, цитаты, даты, конкретные пункты договоров.
Реже галлюцинирует
Общие концепции, обобщения, перевод, структура текста, типовой код, креатив.

Почему это критично для корпорации

Цена ошибки зависит от того, куда она попадёт:

  • Юридические документы со ссылками на несуществующие нормы и пункты.
  • Финансовые отчёты с правдоподобными, но выдуманными цифрами.
  • Цитаты руководства, которых не было.
  • Письма клиентам со ссылкой на несуществующие пункты договора.

Один опубликованный галлюцинированный факт - это уже репутационный или юридический инцидент. Поэтому критичные сценарии строят так, чтобы выдумка не дошла до получателя без проверки.

Как с этим бороться

Хорошая новость: с галлюцинациями умеют работать. Четыре основных приёма:

RAG
Модель сначала ищет в вашей базе, потом отвечает - с цитатами и ссылками на источник.
Tool use
Точные расчёты делегируются калькулятору, SQL или API - не самой модели.
Human-in-the-loop
Человек проверяет на критичных шагах: подпись, отправка, решение по клиенту.
Temperature 0
Снижает «творчество» в фактологических задачах, делает ответы повторяемыми.