Как тестировать ИИ-систему на уязвимости: пошаговый план проверки

ИИ-система в бизнесе — это не только модель, но и агент с доступом к данным, инструментам и внешним сервисам. Проверять её на уязвимости нужно так же, как любую ИТ-систему: с планом, сценариями и фиксацией результатов. В статье — практический порядок действий: с чего начать, какие сценарии собрать и как отделить настоящую находку от случайной ошибки модели.

Коротко

  • Начинайте с инвентаризации: что модель читает, куда пишет, какие инструменты вызывает.
  • Соберите сценарии атак: инъекции в промпт, утечка системных инструкций, обход ограничений.
  • Отделяйте находку от случайности: повторяемость и воспроизводимость — главный критерий.
  • Пентест ИТ-систем рекомендуется проводить не реже раза в полгода — для ИИ-агентов ориентир тот же.
  • Человек остаётся в контуре: подтверждает находки и принимает решение о правках.

Зачем вообще проверять ИИ-систему на уязвимости

Когда ИИ-агент только отвечает на вопросы — риск ограничен репутацией. Когда он вызывает инструменты, пишет в CRM, отправляет письма или читает внутренние документы — ошибка или злонамеренный ввод могут привести к утечке данных или нежелательному действию. Поэтому тестирование ИИ на уязвимости — это не только про модель, но и про весь контур: промпты, инструменты, права доступа, журналы. Чем больше у агента прав, тем выше цена ошибки и тем аккуратнее нужно строить проверку.

В обзорах по безопасности ИТ-систем подчёркивают: проверка должна быть регулярной и опираться на понятный перечень методов и инструментов. Для ИИ-систем добавляются свои классы проблем — уязвимости моделей, предвзятость, отсутствие стандартизации методов. Это значит, что единого «сертификата» пока нет, и план проверки приходится собирать под свою систему. Универсального набора сценариев тоже нет: то, что критично для одного агента, может быть неактуально для другого.

Если у вас ещё нет описания процесса и ролей — начните с подхода к автоматизации: без владельца процесса тестирование превращается в разовую акцию без последствий.

Шаг 1. Инвентаризация: что именно тестируем

До любых атак нужно зафиксировать границы системы. Минимальный список: какие модели используются, какие внешние сервисы вызываются, к каким базам и документам есть доступ, какие действия агент может выполнять сам, а какие — только после подтверждения человеком. Чем точнее описаны права, тем проще отличить настоящую находку от ожидаемого поведения. Инвентаризацию стоит оформить как документ и обновлять при каждом изменении контура.

  • Перечень входов: чат, почта, веб-формы, вебхуки, документы.
  • Перечень выходов: ответы пользователю, записи в CRM, письма, вызовы API.
  • Список инструментов и их прав: чтение, запись, удаление, отправка.
  • Где хранятся системные инструкции и можно ли их изменить извне.
  • Кто в компании отвечает за каждую часть контура.
Порядок проверки ИИ-системыОт инвентаризации до подтверждения находки человеком1Инвентаризациячто читает и пишет2Сценарии атакинъекции, утечки3Прогон ификсацияжурнал и повторы4Подтверждениечеловек в контуре5Правки и ретестзакрытие находки
Рисунок можно прокрутить вбок →
Схема показывает логику проверки; конкретные сроки зависят от размера системы и не берутся из источников.

Шаг 2. Какие сценарии собрать

Сценарии удобно группировать по типу риска. Для бизнес-систем чаще всего актуальны три группы: попытки изменить поведение агента через входной текст, попытки получить доступ к внутренним инструкциям или данным, попытки выполнить нежелательное действие через инструменты. В материалах по обнаружению уязвимостей ИИ-агентов отдельно отмечают, что скрытые угрозы могут выглядеть как «умные» ответы — то есть внешне корректное поведение может маскировать проблему. Поэтому смотреть нужно не только на явные сбои, но и на подозрительно удачные ответы на нестандартные запросы.

Пример карты сценариев для проверки ИИ-агента. Состав сценариев зависит от вашей системы; цифры в таблице не приводятся, так как в источниках нет подходящей статистики.
ГруппаЧто проверяемПризнак проблемы
Инъекция в промптВвод с попыткой переопределить инструкцииАгент меняет правила или игнорирует ограничения
Утечка инструкцийЗапросы на раскрытие системного промптаВнутренние правила попадают в ответ
Действия инструментовПопытки вызвать запись или отправку без подтвержденияДействие выполнено без человека
Доступ к даннымЗапросы к чужим документам или записямОтвет содержит данные вне зоны доступа
Обход ограниченийПереформулировки запрещённых запросовОграничение снимается сменой формулировки

Отдельно стоит проверить, как система ведёт журнал действий. Если в журнале видно, какой ввод привёл к какому вызову инструмента, разбор находок занимает минуты, а не часы. Подробнее о фиксации — в статье о журнале действий ИИ-агента. Журнал также помогает доказать, что находка реальна, а не является плодом воображения проверяющего.

Шаг 3. Как проводить проверку

Методы тестирования безопасности ИТ-систем хорошо описаны: статический анализ, динамическое тестирование, проверка конфигураций, ручные сценарии. Для ИИ-систем к этому добавляются проверки на уровне промптов и поведения агента. На практике удобно совмещать автоматические прогоны (повторяемые наборы запросов) и ручные сессии, где проверяющий пробует нестандартные формулировки. Автоматика даёт охват, ручная сессия — глубину, и пренебрегать ни тем, ни другим не стоит.

  1. Зафиксируйте базовую версию системы и дату проверки.
  2. Подготовьте набор тестовых входов по каждой группе сценариев.
  3. Прогоните автоматические проверки и сохраните ответы.
  4. Проведите ручную сессию с нестандартными формулировками.
  5. Сведите результаты в один список с указанием входа и ответа.
  6. Повторите подозрительные случаи минимум трижды в одинаковых условиях.

По материалам о пентесте ИТ-систем, проверку на проникновение рекомендуется проводить не реже раза в полгода, а также при существенных изменениях. Для ИИ-агента ориентир разумно применить тот же: после смены модели, инструкций или набора инструментов проверку стоит повторить. Иначе выводы, сделанные для прошлой версии, могут оказаться неверными для текущей.

Шаг 4. Как отделить настоящую находку от случайной ошибки

Самая частая проблема начинающих проверок — записать в уязвимости всё, что показалось странным. Модель вероятностная, и один необычный ответ сам по себе ничего не доказывает. Настоящая находка обладает тремя признаками: воспроизводимость, понятная причина и последствие. Если после трёх повторов в одинаковых условиях поведение не повторяется — это скорее случайная ошибка, а не уязвимость. При этом важно различать случайную ошибку и редкую, но воспроизводимую проблему: вторая опаснее именно потому, что её легко пропустить.

Скрытые угрозы могут выглядеть как «умные» ответы — внешне корректное поведение не гарантирует безопасности.

Полезно вести две колонки: «подтверждено» и «наблюдение». В первую попадает только то, что воспроизвелось и имеет понятный механизм. Во вторую — всё остальное, что стоит перепроверить позже. Такой подход экономит время и не создаёт ложной тревоги у команды. Со временем колонка «наблюдение» становится источником новых сценариев для следующей проверки.

Доля подтверждённых находок при разбореУсловная иллюстрация принципа: часть наблюдений не подтверждается при повторе010203040категории разбораПодтверждено10 из 40Наблюдение20 из 40Отклонено10 из 40
Рисунок можно прокрутить вбок →
Схема условная, показывает логику разделения наблюдений; конкретные проценты в источниках не приводятся.
Если находка касается действий агента (запись, отправка, удаление), её стоит проверить на копии системы, а не на рабочей. Это снижает риск нежелательного действия во время проверки.

Шаг 5. Что делать с находками

Каждую подтверждённую находку нужно описать так, чтобы её мог воспроизвести другой человек: вход, условия, ожидаемое и фактическое поведение, предполагаемая причина. Дальше — правка и повторная проверка того же сценария. Без ретеста нельзя утверждать, что проблема закрыта. Описание находки также пригодится, если систему будет сопровождать другая команда.

Часть находок закрывается не правкой модели, а ограничением прав: убрать у агента лишний инструмент, добавить подтверждение человеком, сузить доступ к данным. Это часто проще и надёжнее, чем пытаться «научить» модель не делать ошибку. Подробнее о границах — в статье о том, что ИИ-агент не должен делать сам. Такой подход снижает зависимость от качества модели и делает поведение системы более предсказуемым.

Роль человека в контуре проверки

Автоматические прогоны хорошо ловят повторяемые сценарии, но интерпретация результатов остаётся за человеком. Специалист решает, является ли поведение нарушением, достаточно ли доказательств и какую правку вносить. В материалах о тестировании безопасности с ИИ подчёркивают: начинать стоит с фокусированного пилота на критических приложениях, строго измерять результаты и масштабировать только при подтверждённой пользе. Это особенно важно, когда проверка затрагивает несколько команд и процессов.

3повтора
минимум для подтверждения находки
6месяцев
ориентир регулярности пентеста ИТ-систем
1пилот
фокус на критическом приложении
Ориентиры для плана проверки; конкретные значения зависят от системы и не являются нормативами из источников.

Частые ошибки при первой проверке

  • Проверять всё сразу вместо критических сценариев.
  • Записывать в уязвимости единичные странные ответы.
  • Не фиксировать условия, при которых получен результат.
  • Забывать про ретест после правки.
  • Проверять на рабочей системе без резервной копии.

Проверка ИИ-системы на уязвимости — это регулярный процесс, а не разовая акция. Начать можно с малого: описать контур, собрать сценарии по трём группам риска и провести первую сессию на копии системы. Результаты первой проверки обычно подсказывают, где нужны правки в правах и что стоит автоматизировать в следующий раз. Если нужен внешний взгляд или помощь с планом — обсудите задачу с командой: контакты. Начать можно с короткой диагностики контура и списка сценариев под вашу систему.

Нужен план проверки ИИ-системы под ваш процесс? Напишите нам — соберём сценарии и порядок действий.

Получить диагностику

Источники

  1. Тестирование безопасности: инструменты, примеры, принципы — Взяты общие методы тестирования безопасности ИТ-систем; оговорка: материал общий, не специфичен для ИИ.
  2. Пентест — тестирование на проникновение — Взята рекомендация проводить пентест не реже раза в полгода; оговорка: относится к ИТ-системам в целом.
  3. Обнаружение уязвимостей ИИ-агентов. Часть I — Взята мысль о скрытых угрозах за «умными» ответами; оговорка: обзорная статья, без статистики.
  4. Тестирование безопасности с ИИ — Взята рекомендация начинать с фокусированного пилота; оговорка: блог-обзор, без выборки.

Читайте также

Что мы делаем

Заявка

Обсудим вашу задачу

Опишите процесс, который отнимает время, — вернёмся с планом автоматизации и оценкой.

Заявка получена

Мы свяжемся с вами с вопросами для диагностики. Обычно отвечаем в течение рабочего дня.

Не удалось отправить

Что-то пошло не так. Напишите нам в Telegram или на i@islenkov.ru.