Галлюцинация — уверенная выдумка модели
Правдоподобный, но неверный ответ модели: несуществующие факты, ссылки и цитаты. Свойство технологии, а не поломка, — с ним работают, а не чинят.
Также встречается как: hallucination, выдумки нейросети
Коротко. Галлюцинация — ответ, который выглядит достоверно, но не соответствует реальности: выдуманный факт, несуществующая ссылка, приписанная кому-то цитата.
Почему это происходит
Языковая модель не проверяет факты, а продолжает текст наиболее правдоподобным образом. Если в данных не было нужной информации, самый правдоподобный вариант всё равно будет сгенерирован — с той же уверенной интонацией, что и верный ответ.
Отсюда важное следствие: уверенность ответа не связана с его правильностью. Пользователь не может отличить одно от другого по тону.
Что снижает риск
- RAG — отвечать по найденным документам, а не по памяти модели;
- ссылки на источники — пользователь может проверить;
- явное разрешение сказать «не знаю» — в инструкции модели;
- проверка на выходе — программная валидация формата, чисел, дат, существования ссылок;
- человек в контуре — там, где цена ошибки высока.
Зачем фаундеру
Это определяет, какие задачи вообще можно отдавать модели. Годятся те, где ошибка заметна и поправима: черновик текста, предварительная классификация, подсказка оператору. Не годятся те, где неверный ответ уходит клиенту без проверки и стоит денег или репутации.
Где ошибаются
Обещают «AI не ошибается». Обещание живёт до первого скриншота в соцсетях.
Считают, что проблема решается промптом. Инструкция «не выдумывай» снижает частоту, но не устраняет причину.
Разобрать это на своём проекте
Мы доводим идеи фаундеров до работающего MVP за долю в компании. Расскажите про свою — посмотрим на цифры вместе.