AI Safety

ai safety — управление рисками AI-систем на всём жизненном цикле

Раздел
Этика и регулирование
Обновлено
22.10.26

AI Safety — работа над тем, чтобы нейросети причиняли меньше вреда. Это проверка ошибок, защита данных и ограничения действий: генератор черновиков и агент с доступом к платежам требуют разного контроля.

Коротко

Коротко. AI Safety — работа с рисками AI-систем: от ошибки в ответе до утечки данных или нежелательного действия агента. Например, помощнику можно разрешить подготовить письмо, но оставить отправку человеку. Проверки, ограничения доступа и возможность остановить систему помогают уменьшить последствия ошибок.

Что это такое

AI-модель почти никогда не работает одна. Вокруг неё есть данные, интерфейс, инструменты, пользователи и бизнес-правила. Поэтому безопасность оценивают у всей системы.

Например, одна и та же ошибка имеет разную цену:

  • черновик письма можно перечитать и исправить;
  • неверная медицинская подсказка способна повлиять на здоровье;
  • агент с доступом к почте может отправить конфиденциальный файл;
  • система с платежным инструментом может выполнить необратимую операцию.

AI Safety помогает заранее описать такие последствия и поставить защиту там, где она действительно нужна.

Из каких областей состоит AI Safety

  • Надёжность. Система сохраняет ожидаемое поведение на необычных, шумных и неполных данных.
  • Информационная безопасность. Команда уменьшает риск внедрения чужих инструкций, утечек, подмены данных и злоупотребления правами инструментов.
  • Оценка поведения. Тесты измеряют не только среднее качество, но и опасные ошибки, отказы и крайние случаи.
  • Снижение злоупотреблений. Продукт ограничивает сценарии, в которых его можно использовать для вреда.
  • Организация работы. Понятно, кто отвечает за систему, по каким результатам её запускают, где записывают изменения и как отключают при сбое.
  • Интерпретируемость. Команда пытается понять причины поведения модели и обнаруживать закономерности ошибок.
  • Alignment. Поведение системы согласуется с поставленной задачей и допустимыми ограничениями.

Эти области пересекаются. Prompt injection одновременно относится к AI Safety и обычной кибербезопасности, а необъяснимая дискриминация — к безопасности, качеству и этике.

Риск начинается со сценария

Полезный первый вопрос звучит не «насколько опасна эта модель вообще?», а «что именно она может сделать в нашем продукте?».

Начать описание сценария можно с пяти вопросов:

  1. Кто пользуется системой. Сотрудник, клиент, ребёнок, злоумышленник или другой сервис.
  2. Какие данные она видит. Публичные тексты, документы компании, медицинские сведения, пароли.
  3. Какие действия ей доступны. Только ответ в чате, чтение файлов, отправка письма, запуск кода, платёж.
  4. Как выглядит ошибка. Неверный факт, утечка, отказ, дискриминация, нежелательное действие.
  5. Как ошибку заметят и остановят. Проверка человеком, лимит, журнал, автоматический тест или аварийное отключение.

Чем серьёзнее последствия и труднее обнаружить ошибку, тем сильнее нужны ограничения до запуска.

Жизненный цикл безопасности

В NIST AI Risk Management Framework выделены четыре связанные функции: Govern, Map, Measure, Manage. Упрощённо — организовать управление, понять контекст, измерить риски и принять меры. Это не обязательная последовательность из четырёх шагов: управление сопровождает всю работу.

1. Управлять

Команда договаривается, для чего нужна система, что ей разрешено и при каких сбоях работу придётся остановить. Она определяет ответственных, учитывает применимые требования закона и записывает, какие модели и внешние службы использует.

2. Описывать

Составляется карта пользователей, данных, инструментов и возможного вреда. Важно учитывать не только нормальный путь, но и ошибочный ввод, намеренную атаку и сбой внешнего сервиса.

3. Измерять

Модель проверяют на реальных задачах и специально подобранных крайних случаях. Метрики могут включать точность, долю опасных ответов, утечки, ложные срабатывания фильтра и число действий, потребовавших вмешательства человека.

4. Снижать риск

После тестов меняют архитектуру: убирают лишние права, добавляют подтверждение, фильтры, изолированную среду выполнения, лимиты и мониторинг. Затем систему проверяют снова. Это повторяющийся цикл, а не разовый аудит перед релизом.

Защитные слои продукта

Универсального набора нет, но часто встречается такая комбинация:

  • проверка и нормализация входных данных;
  • чёткое разделение доверенных инструкций и внешнего контента;
  • минимальные права для каждого инструмента;
  • список разрешённых действий и адресатов;
  • подтверждение человеком для дорогих или необратимых операций;
  • изолированное выполнение кода;
  • исключение ненужных секретов и персональных данных из контекста;
  • проверка ответа перед показом или действием;
  • лимиты частоты, бюджета и длины цепочки;
  • журнал решений и вызовов инструментов;
  • мониторинг ошибок после запуска;
  • понятный способ сообщить о проблеме и быстро отключить функцию.

Системный промпт входит в эту схему, но не является границей безопасности. Модель может нарушить инструкцию, особенно под влиянием постороннего текста. Сохранение системного сообщения в контексте само по себе не гарантирует его соблюдения.

В схеме генерации изображений тоже стоит проверить, какие фотографии получает модель, куда обращаются API-ноды и откуда взят код расширений. Прочитать такую схему помогут материалы по ComfyUI на TimeSaver VFX, а риски установки пакетов разобраны в руководстве по Custom Nodes. Локальный интерфейс сам по себе не гарантирует, что данные не уйдут внешнему сервису.

Пример на практике

Допустим, компания добавляет помощника для обработки обращений клиентов. Он читает заявку, ищет справочную статью и предлагает ответ оператору.

На первом этапе помощник ничего не отправляет сам. Команда записывает его черновик, выбранный источник и правки оператора. Из этих данных становится видно, где модель путает тарифы, раскрывает лишнее или не замечает срочный случай.

После улучшения ей можно разрешить автоматически отвечать на узкий класс безопасных вопросов. Для остальных обращений остаётся проверка человеком. Если позже появится доступ к возвратам денег, это будет новый уровень риска и отдельный набор тестов — старый успешный чат-аудит его не покрывает.

Такой постепенный запуск даёт полезные данные без предположения, что модель либо «полностью безопасна», либо «совсем бесполезна».

Red teaming и evaluations

Обычный тест проверяет ожидаемый запрос. Red team специально ищет обходные пути:

  • скрытая инструкция в документе или веб-странице;
  • попытка получить чужие данные;
  • социальная инженерия и давление на модель;
  • смешение языков и необычная кодировка;
  • длинная цепочка, где опасное действие спрятано среди обычных;
  • ложный ответ внешнего инструмента;
  • конфликт между запросом пользователя и правилами системы.

Поиск обходов не заменяет количественную оценку. Найденные атаки превращают в повторяемые тесты, чтобы исправление не исчезло после смены модели или промпта.

С чем часто путают

  • AI Safety и alignment. Alignment — часть более широкой работы с безопасностью.
  • AI Safety и AI Ethics. Этика отвечает на вопросы справедливости, допустимости и общественных последствий; safety сосредоточена на управляемом риске. Граница между ними не жёсткая.
  • AI Safety и cybersecurity. Кибербезопасность защищает систему и данные от атак. В AI-продукте она остаётся обязательным слоем, но не покрывает, например, вредный правдоподобный совет.
  • Модерация и безопасность. Фильтр контента решает только часть задачи и может ошибаться в обе стороны.
  • Отказ и безопасность. Слишком частый отказ тоже бывает вредным, если система перестаёт выполнять законную и важную работу.

Частые ошибки и заблуждения

«Достаточно выбрать безопасную базовую модель». Поведение меняют системный промпт, данные, инструменты и интерфейс. Готовая модель не знает всех правил конкретного бизнеса.

«Если тесты прошли, риск закрыт». Трафик, атаки и версии меняются. После запуска нужны наблюдение и повторная проверка.

«Логи решают проблему». Журнал полезен только при ограниченном доступе, понятном сроке хранения и процессе разбора. Иначе он сам становится источником утечки.

«Человек в контуре гарантирует безопасность». Оператор может торопиться и автоматически соглашаться с моделью. Интерфейс должен показывать источник, сомнительные места и последствия подтверждения.

«Открытая модель всегда опаснее закрытой». Риск зависит от сценария, настройки и доступа. Открытые веса дают больше контроля над средой, а облачный сервис может давать встроенные ограничения; ни один вариант не безопасен автоматически.

Частые вопросы

С чего начинается минимальная программа AI Safety? С простого описания: что делает помощник, какие данные видит, что может пойти не так и кто займётся проблемой. На этой основе выбирают тесты и ограничения доступа, решают, какие действия требуют подтверждения, и договариваются, как остановить работу при сбое.

Что такое red teaming? Это целенаправленная попытка вызвать нежелательное поведение системы. Результатом должны стать не только примеры атак, но и воспроизводимые тесты и изменения защиты.

Нужен ли AI Safety небольшому внутреннему инструменту? Да, но масштаб зависит от последствий. Для генератора черновиков может хватить ограниченных данных и проверки человеком; агенту с доступом к инфраструктуре нужны изоляция, права, лимиты и подробный аудит.

Как связаны безопасность и приватность? Приватность отвечает за допустимый сбор и использование данных. Safety учитывает, как утечка или неверная обработка этих данных может навредить. В AI-системах обе области часто встречаются в одном риске.

Существуют ли готовые стандарты? Да. Например, NIST AI RMF предлагает структуру работы с рисками, а ISO/IEC 42001 описывает требования к системе управления AI в организации. Это разные документы: наличие такой системы управления не означает безошибочности отдельной модели. Применимые юридические требования зависят от страны, отрасли и роли компании.

Главное

У помощника для черновиков и агента, который переводит деньги, разные возможные ошибки и разная цена этих ошибок. AI Safety помогает разобраться в этой разнице и подобрать защиту под конкретную задачу. Новые данные или новые полномочия меняют условия работы — вместе с ними пересматривают тесты и ограничения.