Галлюцинации ИИ: что это, почему они возникают и что с ними делать

Что такое галлюцинация ИИ?

Галлюцинация ИИ — это результат работы генеративного ИИ, который подаётся уверенно, но является ложным, вымышленным или не подтверждается предоставленными исходными данными. В профиле генеративного ИИ NIST для этого же явления используется термин «конфабуляция»: генеративные системы создают и уверенно представляют ошибочный или ложный контент. NIST также включает в это определение результаты, которые отклоняются от запроса или других исходных данных либо противоречат утверждениям, сделанным ранее в том же разговоре.

Слово «галлюцинация» — метафора, причём несколько обманчивая. Инструменту ничего не мерещится. Он создаёт текст, статистически правдоподобный в данном контексте, а правдоподобный текст иногда бывает неверным. Поэтому галлюцинация редко выглядит как ошибка. Она выглядит как обычный, хорошо написанный ответ.

Почему у ChatGPT возникают галлюцинации?

ChatGPT и подобные инструменты галлюцинируют, потому что они созданы для генерации вероятного продолжения текста, а не для поиска проверенных фактов. NIST описывает конфабуляцию как естественное следствие устройства генеративных моделей: они приближённо воспроизводят статистическое распределение обучающих данных, и хотя это может давать точные результаты, оно также может приводить к фактическим ошибкам или противоречиям. NIST отмечает, что эта проблема особенно актуальна для развёрнутых ответов на открытые вопросы и для вопросов, требующих специальных знаний.

Исследовательская работа Калая, Нахума, Вемпалы и Чжана за 2025 год предлагает вторую часть объяснения. Авторы утверждают, что процедуры обучения и оценки обычно поощряют угадывание, а не признание неуверенности: модель, которая угадывает, получает более высокие оценки во многих тестах, чем та, которая говорит, что не знает ответа. По мнению авторов, модели оптимизируют так, чтобы они хорошо сдавали тесты. Каким бы ни был точный механизм, практический вывод для сотрудника остаётся тем же: уверенность инструмента ничего не говорит об истинности утверждения.

Галлюцинации более вероятны, когда вы спрашиваете о чём-то малоизвестном, недавнем, узкоспециальном или выходящем за рамки предоставленных вами материалов: о точном показателе, должности конкретного человека, цитате, судебном деле или текущей цене продукта. Они менее вероятны, хотя всё ещё возможны, если попросить инструмент работать только с документом, который вы вставили в запрос.

Как выглядят галлюцинации ИИ в рабочих задачах?

На работе галлюцинации обычно выглядят как небольшие конкретные детали, которые звучат правдоподобно. В списке представлены формы, с которыми сотрудники сталкиваются чаще всего. Если научиться их распознавать, замечать их будет проще.

Что происходит, если галлюцинация ИИ остаётся незамеченной?

Самый известный публичный пример — дело «Мата против Avianca», решение по которому Окружной суд США по Южному округу Нью-Йорка вынес 22 июня 2023 года. Юристы подали в суд документ, содержавший несуществующие судебные решения с вымышленными цитатами и ссылками, созданными ChatGPT. Суд установил недобросовестность и назначил юристам и их фирме солидарный штраф в размере 5,000 долларов США, а также обязал их направить письма своему клиенту и судьям, чьи имена были ложно указаны в вымышленных решениях. Определяя санкцию, суд отметил, что фирма организовала для юристов и сотрудников обязательное повышение квалификации по технологической компетентности и инструментам ИИ: иными словами, обучение уже после случившегося.

Вывод не в том, что юристы невнимательны. Выдуманная ссылка на источник выглядит точно так же, как настоящая, а человек, который на неё положился, пропустил единственный шаг, позволявший обнаружить подлог: не открыл источник. Большинство галлюцинаций в рабочих задачах менее масштабны: например, неверная дата доставки в письме клиенту или выдуманная статистика в презентации для инвесторов. Но суть ошибки та же.

Остаются ли галлюцинации ИИ проблемой?

Да. Разработчики добавили полезные функции, например поиск в интернете со ссылками на источники и ответы на основе загруженных файлов, но никто из них не заявляет, что галлюцинации устранены. В собственной документации Anthropic для Claude говорится, что рекомендуемые приёмы сокращают число галлюцинаций, но не устраняют их полностью. Там же рекомендуется проверять критически важную информацию, особенно при принятии ответственных решений. Справочные страницы Google для Gemini в Gmail и Таблицах предупреждают, что функции Gemini могут предлагать неточную или неуместную информацию.

Относитесь с подозрением к любым утверждениям, что инструмент больше не галлюцинирует. Лучше спросить, какие задачи конкретный инструмент выполняет достаточно надёжно для ваших целей и какие проверки при этом нужны.

Как уменьшить количество галлюцинаций ИИ?

Чтобы сократить галлюцинации, ограничьте то, что инструменту приходится придумывать: предоставьте источник, укажите использовать только его, разрешите отвечать «не знаю» и просите приводить подтверждение каждого утверждения. Приведённые ниже приёмы основаны на рекомендациях поставщиков, в том числе на документации Anthropic по сокращению галлюцинаций, и адаптированы для нетехнических задач. Ни один из них не отменяет необходимость проверки.

Пример запроса, сочетающего несколько приёмов: Используя только приведённый ниже текст политики, перечислите три правила, которые применяются к служебным поездкам, забронированным менее чем за 48 часов до отправления. Для каждого правила приведите точную цитату из предложения, на котором оно основано. Если политика чего-то не оговаривает, напишите «Не указано». Не используйте общие знания.

Как на практике выявляют галлюцинации ИИ?

Рассмотрим вымышленную компанию «Нортгейт Сапплай», поставщика стоматологических материалов со штатом 25 человек. Координатор продаж вставляет в чат правила возврата компании объёмом в две страницы и спрашивает помощника: в какой срок можно вернуть вскрытый товар и взимается ли плата за возврат на склад? В предоставленных правилах сказано, что невскрытые товары можно вернуть в течение 30 дней, вскрытые — только при наличии дефекта, а о плате за возврат на склад ничего не говорится.

Первый ответ: товары во вскрытой упаковке можно вернуть в течение 14 дней с удержанием 15 процентов за возврат на склад. Обе детали выдуманы. В правилах нет ни срока в 14 дней, ни такого удержания. Они выглядят правдоподобно, потому что встречаются во многих правилах возврата. Именно так статистически вероятный ответ оказывается неверным.

Координатор повторяет вопрос, используя описанные выше приёмы: опирайтесь только на правила, цитируйте предложение, а при отсутствии сведений пишите «Не указано». Второй ответ: товары во вскрытой упаковке — возврат возможен только при наличии дефекта (цитата: товары во вскрытой упаковке можно вернуть только в случае дефекта). Комиссия за возврат: не указано. Этот ответ можно за секунды сверить с документом, а вопрос о комиссии передаётся ответственному за правила, вместо того чтобы попасть в письмо клиенту.

Что должен сделать сотрудник, обнаружив галлюцинацию ИИ?

Удалите или исправьте ложное утверждение, а затем выясните, успел ли кто-либо на него опереться. Если результат был только черновиком, исправьте его и продолжайте работу, отметив при проверке, что инструмент выдумал эту деталь. Если результат уже отправили, передали другим или использовали для принятия решения, сообщите ответственному, чтобы он мог внести исправления. Не исправляйте молча документ, который другие уже прочитали.

Также полезно сообщать коллегам, какие типы вопросов привели к ошибке. Команда, в которой делятся примерами неудач, учится быстрее, чем та, где каждый обнаруживает одну и ту же проблему самостоятельно. Пошаговый метод проверки черновика описан в руководстве по проверке фактов в ответах ИИ.

Когда плохой ответ ИИ не является галлюцинацией?

Не каждый плохой ответ — галлюцинация, и способы исправления различаются. Если инструмент даёт устаревший ответ, потому что информация изменилась после его обучения, нужен актуальный источник. Если ответ предвзятый или односторонний, проблема в постановке вопроса и беспристрастности, а не в выдуманных фактах. Если из-за расплывчатого запроса получился разумный, но нежелательный результат, нужно точнее сформулировать задачу. А если кто-то намеренно использует ИИ для обмана, это вопрос поведения, а не обучения.

Это руководство также не может подтвердить, что конкретный инструмент безопасен для определённой задачи с серьёзными последствиями. Юридические, медицинские, финансовые и кадровые решения в отношении конкретных людей должны проверяться квалифицированным специалистом независимо от способа получения результата.

Источники и границы рассмотрения

NIST, AI 600-1: профиль рисков генеративного ИИ, июль 2024 ↗

Калаи, Нахум, Вемпала и Чжан, Почему языковые модели галлюцинируют, arXiv, 4 сентября 2025 года ↗

Anthropic, документация Claude: как уменьшить число галлюцинаций, дата обращения: 16 октября 2026 ↗

Дело Mata против Avianca, Inc., 678 F.Supp.3d 443 (S.D.N.Y., 22 июня 2023), копия размещена CLLA ↗

Справка Gmail, «Совместная работа с Gemini в Gmail», дата обращения: 16 октября 2026 ↗

Справка редакторов документов Google, «Совместная работа с Gemini в таблицах Google», дата обращения: 16 октября 2026 ↗