Что такое система управления ИИ?
Система управления ИИ — это управленческая основа вашей политики использования ИИ: она определяет, кто может одобрить ИИ-инструмент или способ его применения, что необходимо фиксировать, как проверяются риски и когда пересматриваются решения. Политика допустимого использования говорит сотрудникам, что делать; система управления определяет содержание этой политики и поддерживает её актуальность.
Большинство опубликованных подходов разработано для крупных организаций, создающих системы ИИ. Компании со штатом от 5 до 200 человек, которая использует готовых ассистентов, нужна та же логика, но в гораздо меньшем масштабе. Цель — чтобы у каждого разрешённого применения были ответственный, обоснование и дата пересмотра, а сотрудникам не приходилось гадать, кто принимает решения.
Эта страница содержит общую информацию, а не юридическую консультацию. Если вы встраиваете ИИ в продукты, автоматизируете принятие решений о людях или работаете в регулируемой отрасли, вам нужна дополнительная проверка специалистами, выходящая за рамки описанного здесь.
Как небольшой компании применять систему управления рисками ИИ от NIST?
Рамочная программа NIST по управлению рисками ИИ — это добровольная система, опубликованная 26 января 2023 года. Она объединяет работу с рисками ИИ в четыре направления: организация управления, определение контекста, измерение и управление рисками. NIST указывает, что программа предназначена для добровольного применения, не привязана к отрасли или сценарию использования и даёт гибкость организациям любого размера. Также пользователи могут выбирать категории с учётом своих ресурсов и возможностей — именно так и следует поступать небольшой команде.
Организация управления охватывает все направления: культуру, политики, роли и подотчётность. Определение контекста устанавливает условия использования системы и связанные с ними риски. Оценка анализирует и отслеживает эти риски качественными или количественными методами. Управление рисками предусматривает выделение ресурсов на выявленные риски и планы реагирования на инциденты и восстановления после них. На странице NIST отмечено, что эта система пересматривается, поэтому перед цитированием проверьте актуальную версию.
Таблица ниже — наша адаптация для небольших команд. Это не официальный профиль NIST, и её использование не обеспечивает соответствия компании каким-либо требованиям.
| Функция в модели NIST | Что это значит для компании из 30 человек | Конкретный результат работы |
|---|---|---|
| Организация управления | Назначьте ответственного, напишите политику, обучите сотрудников, решите, кто одобряет новые варианты использования | Документ с правилами и именами ответственных, сведения о прохождении обучения |
| Составьте карту | Для каждого случая использования ИИ запишите задачу, задействованную информацию и тех, кого затронет возможная ошибка | Одна строка в реестре на каждый случай использования |
| Оценивайте | Выборочно проверяйте результаты, собирайте сообщения о проблемах, регулярно проверяйте условия поставщиков | Примечания по проверке и журнал проблем |
| Управление | Разрешайте, ограничивайте или прекращайте применение ИИ по результатам проверки; реагируйте на инциденты | Обновлённый реестр и записи об инцидентах |
Кто должен отвечать за управление использованием ИИ в малом бизнесе?
За управление применением ИИ должен отвечать один назначенный человек, с чётким порядком согласования решений, которые он не может принимать самостоятельно. На практике в компании численностью менее 50 человек это часто основатель или операционный директор, а в более крупной — руководитель операционного или ИТ-направления, подотчётный руководству. Рекомендации NIST по управлению предусматривают ответственность высшего руководства за решения о рисках ИИ, а также определение ролей и каналов коммуникации.
Практичное распределение обязанностей для вымышленной компании по разработке программного обеспечения Kestrel Systems со штатом 60 человек: операционный директор ведёт реестр и утверждает новые инструменты; ответственный за защиту данных согласовывает любое использование, связанное с персональными данными; руководители отделов утверждают рабочие процессы и проверяют результаты в своей области; управляющий директор утверждает ежегодный пересмотр. Четыре человека закрывают все обязанности, и каждый знает, какие вопросы относятся к нему.
Ответственный
Ведёт реестр, проводит проверки, служит первым контактным лицом. Один назначенный ответственный и человек, который его подменяет.
Согласование использования данных
Согласовывает любое использование персональных данных и решает, нужна ли оценка воздействия.
Ответственные за согласование в рабочем процессе
Руководители отделов, которые знают рабочие процессы, одобряют применение ИИ в своей области и назначают ответственного за проверку результатов.
Руководство
Принимает общий уровень риска и утверждает результаты ежегодного пересмотра.
Какие сведения следует вносить в реестр ИИ?
В реестре ИИ следует фиксировать каждый одобренный инструмент и способ его использования: тариф, разрешённую задачу, допустимую информацию, ответственного, проверяющего и дату пересмотра. Рекомендации NIST по управлению предусматривают механизмы учёта систем ИИ с выделением ресурсов в соответствии с приоритетами рисков; небольшой компании достаточно общей электронной таблицы.
Фиксируйте также сведения о сторонних поставщиках, поскольку почти каждая система ИИ, которой пользуется небольшая компания, принадлежит внешнему поставщику. Материалы NIST по управлению охватывают политики в отношении рисков сторонних систем ИИ и порядок действий при их сбоях. В реестре укажите: что условия поставщика говорят об обучении моделей, хранении и удалении данных, когда вы в последний раз это проверяли и что будете делать, если инструмент станет недоступен или его условия изменятся.
Пример строки для компании «Кестрел»: "Инструмент: корпоративное рабочее пространство [ассистент]. Использование: подготовка черновиков внутренних документов и кратких обзоров общедоступных исследований. Информация: только общедоступная и внутренняя. Ответственный: операционный директор. Проверяющий: непосредственный руководитель автора для любых материалов, предназначенных внешним адресатам. Условия поставщика проверены: [дата]. Запасной вариант: подготовка черновиков без ИИ. Следующая проверка: [дата]."
Хотите узнать, как это связано с конкретной должностью?
Ознакомиться с планируемой пробной программой для команды ↗Как согласовывать новые способы использования ИИ?
Новый способ использования ИИ следует согласовывать через короткую письменную заявку с ответами на пять вопросов, чтобы ответственный мог быстро принять решение, а само решение было зафиксировано. В небольшой компании большинство заявок связаны с низким риском, и на их рассмотрение должен уходить день, а не заседание комиссии. Сложная процедура побуждает людей обходить её.
Форма заявки в «Кестрел» занимает пять строк. Если хотя бы один ответ затрагивает персональные данные или решение о человеке, перед одобрением заявка направляется на согласование использования данных.
Инструмент и тариф
Какой именно продукт и какая учётная запись будут использоваться?
Задание
Какую работу он будет выполнять и кто будет им пользоваться?
Информация
Какие категории информации будут передаваться инструменту?
Последствия ошибки
Кого затронет ошибка в результате и насколько серьёзными будут последствия?
Проверка
Кто проверяет результат перед его использованием?
На каких принципах должна основываться политика управления ИИ?
Единого согласованного списка принципов управления ИИ нет: разные подходы используют разные принципы, поэтому выберите короткий набор, который ваша команда сможет применять. NIST перечисляет характеристики ИИ, заслуживающего доверия: обоснованность и надёжность, безопасность, защищённость и устойчивость, подотчётность и прозрачность, объяснимость и интерпретируемость, усиленная защита частной жизни, а также справедливость с контролем вредоносных предубеждений. В руководстве правительства Великобритании по ИИ, опубликованном в феврале 2025 года для государственных служащих, изложены десять принципов. Первый — понимание того, что такое ИИ и каковы его ограничения; среди остальных — содержательный контроль со стороны человека на нужных этапах.
Для малого бизнеса обычно достаточно трёх рабочих принципов: у каждого случая использования есть конкретный ответственный; информация передаётся только туда, куда разрешено; человек проверяет любой используемый результат и берёт за него ответственность. Если предлагаемый способ использования не отвечает всем трём условиям, одобрять его пока нельзя.
Иногда спрашивают о трёх основах управления ИИ. Общепринятого набора нет. На практике удобно выделять людей — кто принимает решения и кто проходит обучение, процессы — как согласуют и пересматривают способы использования, и записи — реестр и зафиксированные в нём решения.
Как часто следует пересматривать решения по управлению использованием ИИ?
Пересматривайте весь реестр не реже одного раза в год, а отдельные записи — всякий раз, когда поставщик меняет условия, меняется тариф, в договор с клиентом добавляются условия об ИИ или сообщение о проблеме показывает, что рабочий процесс не работает. Рекомендации NIST по управлению охватывают постоянный мониторинг и периодический пересмотр процесса управления рисками.
Небольшой компании часто достаточно получаса раз в квартал: ответственный просматривает журнал проблем, проверяет два-три положения в условиях поставщиков, спрашивает руководителей отделов, изменились ли способы использования инструментов, и выводит из эксплуатации всё, чем никто не пользуется. Отказ от неиспользуемых инструментов — часть управления; рекомендации NIST по управлению включают процессы безопасного вывода систем ИИ из эксплуатации.
Какое место обучение занимает в системе управления использованием ИИ?
Обучение — та часть управления, которая делает правила применимыми на практике. Рекомендации NIST по управлению предусматривают обучение персонала управлению рисками ИИ. Для ЕС в ответах Европейской комиссии на вопросы о грамотности в области ИИ по статье 4 закона об ИИ говорится, что универсального подхода нет, сертификаты не обязательны, а внутреннего учёта обучения достаточно.
Фиксируйте, кто и чему обучен, и стройте обучение вокруг задач, которые люди действительно выполняют. Tosheo.ai разрабатывается для практического обучения по рабочим ролям, с возможностью для руководителя отслеживать развитие навыков и прохождение обучения; это не платформа управления использованием ИИ, и ваш реестр она не ведёт.
Когда небольшой компании нужно нечто большее?
Вам недостаточно простого набора правил, если вы разрабатываете системы ИИ, встраиваете ИИ в продукт, используете ИИ для принятия или поддержки значимых решений о людях, обрабатываете особые категории данных в больших объёмах или работаете в регулируемой отрасли. В таких случаях могут потребоваться формальная оценка рисков или воздействия, системы менеджмента, подлежащие сертификации, и юридическая экспертиза.
Существуют специализированные программы для управления использованием ИИ, в основном рассчитанные на крупные организации. Команде, использующей несколько помощников, обычно достаточно реестра в электронной таблице, кратких внутренних правил и даты следующей проверки — всё это проще поддерживать в актуальном состоянии.
Источники и границы рассмотрения
NIST, рамочная модель управления рисками ИИ 1.0 (NIST AI 100-1), январь 2023 ↗
NIST, обзорная страница рамочной модели управления рисками ИИ, проверено 16 октября 2026 ↗
Практическое руководство NIST по управлению рисками ИИ: управление, проверено 16 октября 2026 ↗
GOV.UK, практическое руководство по ИИ для правительства Великобритании, 10 февраля 2025 ↗