Почему проверка человеком часто не срабатывает?
Проверка человеком часто не работает, потому что человек видит только вердикт ИИ, получает слишком много материалов для проверки и не знает, на что обращать внимание. В результате одобрить оказывается быстрее всего. Это называется формальным одобрением: оно создаёт видимость контроля, но не обеспечивает его по существу.
Представьте вымышленную оптовую компанию Oakbridge Supplies со штатом 25 человек. ИИ-инструмент сопоставляет счета поставщиков с заказами на закупку и помечает каждый как 'совпадает' или 'не совпадает'. Сотрудница финансового отдела Прия одобряет совпавшие счета к оплате. В четверг в её очереди указано: '212 счетов, 205 совпадают, 7 не совпадают'. В каждой строке видны поставщик, сумма и зелёная галочка. В прошлом месяце счёт поставщика на 400 единиц оплатили, хотя доставили только 40: инструмент сопоставил номер заказа, а Прия одобрила строку с галочкой.
На каких этапах работы ИИ нужен контроль человека?
Человек должен участвовать в проверке везде, где результат ИИ влияет на деньги, доступ человека к чему-либо, обязательства перед клиентом, правовые последствия или безопасность, — и до того, как это изменение станет трудно отменить. Обычные результаты с обратимыми последствиями можно проверять выборочно.
Статья EU AI Act о надзоре со стороны человека за системами высокого риска выражает ту же мысль языком регулирования: люди, контролирующие систему, должны понимать её ограничения, помнить о склонности чрезмерно доверять автоматизации и иметь возможность не учитывать, отменять или останавливать её результаты. Даже если закон на вас не распространяется, это полезные ориентиры при проектировании.
Какие существуют схемы проверки результатов ИИ человеком?
Есть четыре распространённых способа организации проверки. Выбор зависит от цены ошибки и количества проверяемых элементов.
Согласуйте до выполнения действия
Человек одобряет каждый результат до выполнения каких-либо действий. Используйте такой подход для редких операций с высокой ценой ошибки, например платежей выше установленного порога или возвратов средств клиентам.
Проверка исключений
ИИ обрабатывает однозначные случаи, а сомнительные или необычные передаёт человеку. Это работает, только если правила передачи проверены, а часть «однозначных» случаев всё равно проверяется.
Выборочный аудит
Результаты отправляются без предварительной проверки, а затем человек проверяет случайную выборку. Подходит для массовых задач, в которых последствия можно исправить, например для внутренних сводок.
Сначала самостоятельно
Человек формирует собственное мнение, прежде чем увидеть предложение ИИ. Это медленнее, но при важных оценках защищает от привязки к ответу ИИ.
Как выглядят неудачный и улучшенный планы проверки?
Слабая схема: каждый счёт поступает Прие с зелёной или красной отметкой. За 20 минут она утверждает 205 позиций с галочками. Ничто не объясняет ей, почему поставлена каждая галочка, и ничто не проверяет, продолжает ли она просматривать счета.
Улучшенная организация процесса: счета ниже установленной суммы оплачиваются автоматически, если номер заказа, количество и цена за единицу совпадают с накладной. Прия каждую неделю проверяет десять случайно выбранных счетов. Все счета выше порога, счета от новых поставщиков и случаи расхождения в количестве передаются ей: три поля показаны рядом, а объяснение ИИ занимает одну строку, например «количество в счёте 400, доставлено 40». Раз в месяц руководитель финансового отдела без предупреждения добавляет в очередь два документа с известными ошибками, чтобы убедиться, что их обнаружат. Прия также фиксирует каждый случай, когда она отменяет решение ИИ. Внезапное падение числа отмен до нуля считается тревожным сигналом, а не успехом.
Как убедиться, что проверка проводится по существу, а не сводится к формальному одобрению?
Убедитесь, что проверка действительно проводится: измеряйте время на каждый материал, частоту исправления результатов ИИ проверяющими и долю обнаруженных намеренно внесённых тестовых ошибок. Если проверяющий никогда не возражает инструменту, то либо результаты очень качественные, либо проверки нет вовсе. Чтобы понять, что именно происходит, нужны данные.
Показывайте доказательства, а не только выводы
Разместите исходные поля рядом с ответом ИИ, чтобы их можно было быстро проверить.
Ограничьте очередь
Если человек не может качественно проверить такой объём работы, измените процесс, а не просите его стараться больше.
Предоставьте полномочия
Проверяющие должны иметь возможность отклонить результат или приостановить работу без чьего-либо разрешения.
Проверьте цикл
Время от времени добавляйте заведомые ошибки и фиксируйте, удаётся ли их обнаружить.
Какие ошибки часто допускают при организации работы ИИ с участием человека?
Самая распространённая ошибка — добавить в процесс проверяющего, ничего больше не меняя, а затем считать его одобрение доказательством правильности результата. Другие ошибки: просить одного человека одобрять сотни результатов в день, прятать подтверждающие материалы за дополнительными переходами, проводить проверку уже после необратимого действия и радоваться снижению доли исправленных решений, не выясняя причин. Склонность доверять автоматике затрагивает и внимательных людей, поэтому устройство процесса важнее благих намерений.
Какое место участие человека в работе ИИ занимает в каталоге Tosheo.ai?
Тема участия человека в процессе входит в раздел «Ответственное использование ИИ и правила работы с ним» курса по ИИ-грамотности и следует за темами этичного использования ИИ и мер контроля для ответственного использования ИИ. Она вновь появляется в уроках об агентном ИИ и автоматизации, где инструменты не предлагают действия, а выполняют их. В практическом задании вам нужно изменить этап проверки в собственном рабочем процессе. Обратная связь по критериям оценки покажет, насколько ясно определены момент проверки, подтверждающие данные и полномочия проверяющего.