Как оценить навыки работы с ИИ в вашей команде

Что вы понимаете под навыком работы с ИИ?

Для целей оценки навык работы с ИИ — это действие, которое можно проверить на конкретном задании. Предоставить подходящий источник, выявить неподтверждённое утверждение или объяснить итоговую правку — более конкретные показатели, чем слова о том, что человек хорошо владеет ИИ. Укажите должность, инструмент и условия, чтобы проверяющий понимал, что именно подтверждают представленные результаты.

Общая оценка может скрывать различия в навыках. Человек может ясно сформулировать запрос, но не проверить ссылку на источник, или проверить арифметику, но принять необоснованное объяснение причины. Фиксируйте эти наблюдения отдельно, а не сводите их сразу к одному общему баллу. В руководстве по навыкам работы с ИИ описаны семь практических навыков, используемых в большинстве видов интеллектуального труда; при оценке нужно указывать, какие из них должно продемонстрировать задание.

Для чего нужна оценка навыков?

Прежде чем что-либо разрабатывать, определите цель: от неё зависит цена ошибки. Оценка в ходе обучения помогает человеку понять, что нужно отработать дальше, и не должна вызывать страха перед неудачей. Проверка готовности помогает руководителю решить, с чего начать программу. Сертификационная оценка подтверждает для других, что человек выполнил определённые задания по установленному стандарту. Наём — отдельный случай, рассмотренный ниже.

Большинство проблем возникает из-за смешения целей. Если люди считают, что результаты входной проверки будут использоваться при оценке их работы, они будут перестраховываться, избегать инструмента или просить помощи у коллег, и результаты мало что вам скажут. Объясните сотрудникам, для чего будут использоваться результаты, кто их увидит и каких последствий не будет.

Какие сигналы следует рассматривать отдельно?

Уверенность, завершение обучения и выполненная работа отвечают на разные вопросы. Самооценка показывает, как человек оценивает свои возможности. Запись о завершении подтверждает, что он достиг определённого этапа программы. Практическое задание даёт ему возможность продемонстрировать конкретные решения в конкретных условиях. Ни один из этих показателей не должен незаметно подменять остальные.

В содержательном отчёте об оценке указывают метод и его ограничения. Если учащийся выполнил одно задание по подготовке текста на вымышленных данных, так и напишите. Не создавайте впечатление, что он способен безопасно выполнять любые рабочие процессы с конфиденциальными данными или серьёзными последствиями. В системе управления рисками ИИ от NIST похожий принцип применяется к самим системам ИИ: требуется документировать ограничения на обобщение результатов за пределами проверенных условий. При оценке людей нужна такая же дисциплина.

Как выбрать практическое задание?

Выберите задачу, связанную с должностными обязанностями, и предоставьте достаточно исходных материалов для оценки ответа. Маркетолог может отредактировать вымышленное письмо для рекламной кампании. Сотрудник отдела кадров — улучшить вопросы для собеседования с учётом описания должности. Финансист — объяснить небольшую таблицу, не делая выводов о причинах, которые не подтверждены данными. Специалист поддержки — ответить на вопрос клиента, используя предоставленную выдержку из правил.

Обеспечьте безопасность учебной задачи. В первом упражнении используйте вымышленные или разрешённые к использованию сведения и избегайте решений, касающихся реальных людей, денег или общения с клиентами. Цель — оценить работу, а не в попытке измерить навык создать автоматизированное решение с реальными последствиями.

В хороших заданиях есть существенная ловушка. Намеренно добавьте одну реалистичную проблему, которую должен заметить учащийся: например, деталь внутренних правил, которую инструмент, скорее всего, выдумает, или показатель, который нужно пересчитать. Задание, в котором невозможно ошибиться, проверяет лишь умение пользоваться инструментом.

Как выглядит полноценное задание для оценки навыков?

Вот полный пример для сотрудника поддержки вымышленного мебельного магазина «Ларчвуд Хоум». Учащийся получает письмо клиента с вопросом, можно ли заменить диван, доставленный с порванной подушкой, и выдержку из правил: повреждённые товары заменяются бесплатно, если о повреждении сообщили в течение 14 дней, а клиент должен прислать фотографию. Клиент сообщил о повреждении на 9-й день.

Инструкция звучит так: "Используйте одобренного помощника на базе ИИ, чтобы подготовить черновик ответа. Используйте только предоставленные правила. Не включайте адрес клиента или номер заказа в запрос к инструменту. Сдайте свой запрос, черновик инструмента, окончательный ответ и два-три предложения с объяснением правок."

Ловушка в том, что инструменты общего назначения часто добавляют возможность возврата денег, дату доставки или компенсационный купон, которых нет в правилах. В качественной работе предлагается только замена, запрашивается фотография, не указываются даты, не подтверждённые правилами, и объясняется удаление каждого вымышленного предложения. В слабой работе черновик инструмента отправляют с небольшими правками. Оба текста могут хорошо читаться, но безопасно отправлять только один из них.

Что должно входить в доступные всем критерии оценки?

Доступные учащемуся критерии оценки должны быть известны до сдачи работы и описывать, что соответствует каждому уровню. Полезные категории: контекст, подтверждающие материалы, обращение с информацией и решения о проверке. Объясните, на что проверяющий смотрит в работе, вместо того чтобы просто выставлять балл без описания. После прочтения обратной связи учащийся должен понимать, что нужно улучшить.

Приведённая ниже система критериев подходит для задания «Ларчвуд». Это разработанная редакцией структура оценки, а не заявление о психометрической валидности; подтверждённого проходного балла у неё нет.

Кто должен оценивать работу: ИИ или человек?

Оба варианта допустимы, если критерии открыты, а оценку можно оспорить. Человек, знакомый с работой, — наиболее надёжный проверяющий, но он работает медленно и при большом количестве работ может оценивать их непоследовательно. ИИ быстро оценивает работы по заданным критериям и может давать конкретную обратную связь, но уверенно выставленная оценка не доказывает её точности. Кроме того, ИИ может упустить контекст, который заметил бы специалист в этой области.

Практичный компромисс — обратная связь от ИИ по учебным заданиям, возможность отправить спорную оценку на повторную проверку и проверка человеком там, где результат имеет последствия. Планируемое устройство Tosheo.ai следует этой схеме: ИИ оценивает задания по открытым критериям, а обращения учащихся попадают в очередь на проверку. Этот процесс входит в планы разработки, но не доказывает, что уже реализованная система оценки прошла валидацию.

Как обеспечить согласованность оценок проверяющих?

Согласуйте подход до выставления оценок. Попросите двух проверяющих независимо оценить одни и те же три или четыре примера выполненных заданий, сравните расхождения и договоритесь о том, как понимать формулировки критериев оценки. Запишите решения в виде коротких заметок рядом с каждым критерием, например: "жест доброй воли считается выдуманным предложением, если он не разрешён правилами".

Периодически проводите повторную проверку: попросите второго человека проверить небольшую выборку работ. В рекомендациях NIST по измерению отмечается, что независимая проверка может снизить внутреннюю предвзятость. В небольшой команде для этого может быть достаточно, чтобы основатель и старший коллега раз в квартал независимо проверяли несколько одних и тех же работ.

Как интерпретировать повторные попытки?

Вторая попытка может показать, что человек понял обратную связь по этому примеру. Но ему также может помочь то, что он запомнил задание. Прежде чем делать более общие выводы, используйте новый, но сопоставимый пример и фиксируйте изменения в инструменте, исходных материалах или доступной учащемуся помощи.

Если оценка имеет значение, сделайте процесс проверки прозрачным и предусмотрите возможность её оспорить. Обратную связь от ИИ может быть полезно обсудить, но она не должна определять окончательное решение с серьёзными последствиями.

Как представлять результаты?

Укажите, что наблюдалось, в каких условиях и что остаётся неизвестным. Краткая запись в едином формате полезнее одной оценки. Шаблон ниже можно использовать для каждого сотрудника или каждой роли.

Чем оценка навыков отличается от отслеживания внедрения?

Данные об использовании инструментов и вовлечённости помогают руководителю понять, пользуются ли сотрудники программой обучения. Но сами по себе они не показывают, принимает ли человек обоснованные решения. Даже часто используемый инструмент может выдавать результаты, которые никто не проверяет, а внимательный учащийся может применять его лишь для одной узкой разрешённой задачи.

Оценивайте внедрение с учётом примеров работ, вопросов по политике и доступной поддержки. Укажите, какие признаки наблюдаются, а по каким нет данных. Не делайте выводов о росте производительности на основании изменения частоты входов без подходящей методики и подтверждающих данных с учётом контекста.

Какая информация должна быть доступна руководителям?

Руководителям нужна информация, которая помогает поддерживать сотрудников: какие навыки человек продемонстрировал, где возникли трудности и есть ли прогресс. Полный текст каждой беседы сотрудника с ИИ-инструментом им нужен редко. Чтение таких журналов воспринимается как слежка, мешает открыто практиковаться и может раскрыть сведения, которыми учащемуся не следовало делиться.

Определите, какие данные будут видны, и сообщите об этом до начала работы. Именно поэтому планируемая панель руководителя в Tosheo.ai предназначена для отображения прогресса в освоении навыков и завершения обучения, а не полных журналов переписки.

Чем это отличается от оценки кандидата?

Обучение и подбор персонала решают разные задачи. Учебное задание может дать действующему сотруднику возможность ошибиться и улучшить свои навыки. Оценка кандидата должна проходить в рамках справедливого, чётко определённого процесса найма с надлежащей проверкой со стороны человека и понятной информацией для кандидатов. Не следует повторно использовать один и тот же пример так, будто контекст и последствия одинаковы, а результат обучения нельзя использовать для кадрового решения, для которого он не предназначался.

Когда вам не следует проводить оценку навыков работы с ИИ?

Не проводите такую проверку, пока у людей нет одобренного инструмента и базовых правил работы с информацией: иначе вы будете оценивать доступ и степень неразберихи, а не навыки. Не используйте её как замаскированную оценку результатов работы. И не используйте анкеты самооценки, включая проверку готовности на этом сайте, для ранжирования людей, выдачи документов о квалификации или принятия кадровых решений.

Если вам нужен валидированный психометрический инструмент для решений с серьёзными последствиями, описанный здесь подход им не является. Это практический метод для обсуждения обучения и планирования программ, учитывающий рекомендации NIST о контексте и ограничениях. Эти рекомендации не означают одобрения или подтверждения валидности данного подхода к оценке сотрудников.

Что руководителю делать дальше?

Выберите одну задачу, связанную с должностными обязанностями, опубликуйте краткие критерии оценки и обсудите ход рассуждений с участником обучения. Зафиксируйте источник, инструмент и условия выполнения. Определите, какие выводы подтверждаются результатами, а для каких нужен ещё один пример. Это практическая отправная точка для полезного обсуждения обучения.

Если главный вопрос — готова ли команда вообще приступать к практике, начните с контрольного списка готовности: он охватывает доступ к инструментам, ограничения на использование информации, стандарты проверки и поддержку. Самопроверка может помочь начать этот разговор. Оба материала помогают обсуждению, но не заменяют демонстрацию умения выполнять задачи.

Источники и границы рассмотрения

Основные положения рамочной модели NIST по управлению рисками ИИ, проверено 16 октября 2026 ↗

Практическое руководство NIST по управлению рисками ИИ: управление, проверено 16 октября 2026 ↗