Почему правдоподобного ответа недостаточно?
Правдоподобного ответа недостаточно, потому что генеративный ИИ может выдать ложное утверждение, выдуманную ссылку на источник или верный факт в неподходящем контексте — и всё это с одинаковой уверенностью. Из-за гладкого изложения такие проблемы легче пропустить. Профиль рисков генеративного ИИ NIST относит конфабуляции к рискам и среди рекомендуемых мер указывает проверку источников и ссылок в ответах ИИ.
NIST также отмечает, что ответы ИИ могут содержать вымышленные рассуждения или ссылки, которые выглядят как обоснование ответа и могут вызывать неоправданное доверие. Последовательная цепочка рассуждений не доказывает правильность вывода. В руководстве по галлюцинациям ИИ объясняется, почему это происходит; это руководство посвящено порядку проверки.
Какие утверждения следует проверить в первую очередь?
Сначала проверяйте утверждения, ошибка в которых может иметь самые серьёзные последствия, и те, которые ИИ с наибольшей вероятностью мог выдумать. Обычно не нужно проверять каждое слово во внутреннем черновике с низкими рисками, но цифру в предложении для клиента нужно проверять всегда. Таблица помогает расставить приоритеты проверки распространённых типов утверждений. Адаптируйте её к работе вашей команды и правилам согласования.
| Тип утверждения | Как это проверить | Кто решает, что результат пригоден для использования |
|---|---|---|
| Числа, цены, даты | Пересчитайте или сверьте с исходной записью | Автор и ещё один человек, если материал предназначен для использования за пределами компании |
| Цитаты и ссылки на источники | Откройте источник и найдите точный фрагмент | Автор |
| Имена, должности, организации | Проверьте официальную страницу или страницу первоисточника | Автор |
| Утверждения о причинах | Уточните, какие доказательства это подтвердят; удалите, если их нет | Автор и человек, отвечающий за решение |
| Правовые, финансовые вопросы, вопросы безопасности или трудовых отношений | Первоисточник и квалифицированный проверяющий | Компетентный специалист, а не только сам автор |
Как проверить ссылку на источник?
Откройте сам источник и найдите фрагмент, подтверждающий утверждение. Проверьте автора или издателя, дату, область применимости и все оговорки. Рабочей ссылки недостаточно, если на странице речь идёт о другой группе людей, другом периоде или другом вопросе. Сохраните сведения об источнике, чтобы другой человек мог повторить проверку.
Если вы не можете найти подтверждающий фрагмент, не ограничивайтесь просьбой к модели подтвердить собственную ссылку. Запросите недостающее подтверждение, удалите утверждение или отметьте его как непроверенное. Вторая модель может предложить вопросы, но согласие двух моделей не является независимой проверкой. Обе могли усвоить одну и ту же правдоподобную ошибку.
Как проверить цифры и логику рассуждений?
Заново рассчитайте важные показатели по предоставленным данным независимым способом, например с помощью формулы, сводной таблицы или калькулятора. Уточните единицы измерения, период и базу сравнения. Итог может быть верным, а объяснение причин его изменения — неподтверждённым, поэтому отделяйте арифметику от любых утверждений о причинах.
В вымышленной таблице выручка меняется с 80 до 92 единиц, а затраты — с 50 до 61 единицы. Изменения составляют 12 и 11 единиц, поэтому маржа растёт с 30 до 31 единицы. Сама таблица не объясняет, вызвано ли это новым клиентом, изменением цены или сроками. Корректная сводка указывает изменение и оставляет вопрос о причине открытым либо называет данные, которые помогут её установить. Также следите за смешением процентов и процентных пунктов: в сгенерированных сводках это встречается часто.
Хотите узнать, как это связано с конкретной должностью?
Ознакомиться с планируемой пробной программой для команды ↗Как проверить факты в кратком изложении документа, подготовленном ИИ?
Проверяйте не только то, что сказано в кратком изложении, подготовленном ИИ, но и то, что в нём упущено. Сначала выберите три-четыре утверждения из краткого изложения и найдите каждое в оригинале. Затем прочитайте заголовки или первые строки каждого раздела оригинала и проверьте, не пропущено ли что-то важное. Наконец, поищите исчезнувшие оговорки: «может» превращается в «будет», «в некоторых случаях» — во «всегда», а «при условии согласования» исчезает вовсе.
Если на основе краткого изложения будут принимать решение, попросите инструмент сначала привести цитаты для каждого пункта и только затем составить изложение. В документации Anthropic для Claude этот подход рекомендуется для длинных документов, наряду с просьбой удалить все утверждения, которые инструмент не может подтвердить цитатой. Это ускоряет проверку краткого изложения, но цитаты всё равно нужно сверять с текстом страницы.
Как выглядит полная проверка фактов?
Вот намеренно ошибочный черновик для практики. Вымышленное агентство «Кестрел Студио» попросило ИИ-помощника кратко изложить предоставленный клиентом бриф о продукте в одном абзаце для презентации потенциальному заказчику. В брифе сказано, что приложение-планировщик клиента запущено в марте 2025 года, имеет бесплатный и платный тарифы, а опрос 200 его пользователей показал, что большинство пользуется им еженедельно.
Черновик ИИ: Приложение, запущенное в начале 2024, быстро стало одним из самых популярных планировщиков в Великобритании. Недавний независимый опрос показал, что 85 процентов пользователей открывают его каждый день. Доступны бесплатный и премиальный тарифы.
Проверка каждого утверждения. Дата запуска: в задании указан март 2025 года, поэтому начало 2024 года — ошибка. Один из самых популярных планировщиков в Великобритании: в задании нет подтверждения, поэтому это нужно удалить. Недавний независимый опрос: в задании описан собственный опрос пользователей клиента, поэтому слово «независимый» неверно. 85 процентов ежедневно: в задании сказано, что большинство пользовались им еженедельно, поэтому и число, и частота выдуманы. Бесплатный и платные тарифы: подтверждено.
Проверенный абзац: Приложение, запущенное в марте 2025 года, предлагает бесплатный и платный тарифы. В собственном опросе клиента среди 200 пользователей большинство сообщили, что пользуются им еженедельно. В примечании к проверке перечислены четыре исправления и одно удалённое утверждение, а ответственный за работу с клиентом утверждает презентацию перед отправкой клиенту.
Может ли ИИ помочь вам проверить достоверность его собственных ответов?
ИИ может помочь организовать проверку фактов, но не может провести её полностью. Полезные запросы: перечислить все фактические утверждения в черновике нумерованным списком; для каждого утверждения привести подтверждающее его предложение из приложенного источника или написать «Не подтверждено»; выявить все числовые данные, которых нет в источнике. Такие запросы превращают абзац в список для проверки.
ИИ не может служить независимым средством проверки. Если спросить тот же инструмент, верен ли его ответ, он, как правило, подтвердит его правильность. Если задать один и тот же вопрос несколько раз и сравнить ответы — такой приём описан в документации Anthropic, — можно выявить противоречия. Но совпадающие ответы всё равно могут быть одинаково неверными. Последний шаг — всегда открыть источник или заново рассчитать показатель.
Что должна содержать история проверок?
Сохраняйте исходное утверждение, источник или расчёт для его проверки, исправление и все нерешённые вопросы. Укажите человека, ответственного за решение о том, подходит ли результат для предполагаемого использования. Такая запись позволяет проверить, как проводился разбор, и не создаёт видимости, будто все риски устранены.
Для фиксации проверок не нужно специальное программное обеспечение. Для большинства внутренних задач достаточно короткой заметки в конце документа или ветки комментариев. Материалы для клиентов согласовывайте в обычном порядке: помощь ИИ не меняет того, кто утверждает результат.
Когда этого контрольного списка недостаточно?
Этот контрольный список — рабочая процедура, а не подтверждение точности. Его недостаточно для юридических консультаций, отчётности перед регуляторами, медицинской информации или сведений о безопасности, финансовых показателей, подлежащих аудиту, и кадровых решений в отношении конкретного человека. Здесь нужны квалифицированный специалист для проверки и первоисточники независимо от того, каким инструментом подготовлен черновик.
Такая проверка может быть и избыточной. Для мозгового штурма, списка идей для повестки встречи или предварительного черновика, который прочитаете только вы, редко нужна проверка каждого утверждения. Соотносите глубину проверки с последствиями возможной ошибки.
Источники и границы рассмотрения
NIST, AI 600-1: профиль рисков генеративного ИИ, июль 2024 ↗
Anthropic, документация Claude: как уменьшить число галлюцинаций, дата обращения: 16 октября 2026 ↗