Безопасность ИИ-агента начинается с ограничений, а не с кнопки «Подтвердить»

ИИ-агент, которому дали доступ к CRM, почте и платёжным документам, — это не «умная кнопка», а новая учётная запись с правами. И ведёт она себя не как сотрудник: ошибается уверенно, повторяет попытки и не устаёт. Разбираем три вещи, которые реально снижают риск: минимальные права и лимиты, инструменты с проверяемыми границами и журнал действий, по которому можно восстановить, что произошло. И почему «человек подтверждает» без правил превращается в формальность.

Коротко

  • 79% компаний внедряют ИИ-агентов, но только 11% считают себя готовыми к их безопасности — разрыв между внедрением и защитой.
  • Один агент без лимита расходов потратил $6531 за сутки — это не гипотетический риск, а описанный инцидент.
  • Подтверждение человеком работает только там, где заранее определено, что именно подтверждается, кем и по какому правилу.
  • Журнал действий должен фиксировать не только результат, но и запрос, инструмент, параметры и причину отказа.
  • Изоляция учётных данных и границы входных данных — базовые меры, без которых остальные настройки бессмысленны.

Почему безопасность ИИ-агента — это про права, а не про модель

Когда компания внедряет ИИ-агента, обсуждение обычно крутится вокруг модели: какая умнее, какая лучше понимает запросы. Но инциденты происходят не из-за «глупой модели», а из-за того, что агенту дали больше прав, чем нужно для задачи. Агент с доступом ко всей почте, всем счетам и всем контактам — это риск, который не лечится сменой модели. Лечится он рамками: что агенту разрешено, какие инструменты ему доступны и что записывается в журнал.

По данным обзора статистики безопасности ИИ-агентов, разрыв между внедрением (79%) и готовностью к внедрению (11%) — определяющая проблема 2026 года. Это значит, что большинство компаний уже используют агентов или собираются, но не имеют выстроенного контура защиты. Ниже — практический разбор того, как этот контур устроить, не превращая проект в многомесячную стройку.

Важно: безопасность агента — это не один продукт и не одна настройка. Это набор ограничений на разных уровнях: права, инструменты, данные, лимиты, журнал. Убрать один уровень — остальные начинают работать хуже.

Минимальные права: что агент должен уметь, а что — нет

Принцип наименьших прав для ИИ-агента звучит просто: дайте ему ровно те доступы, которые нужны для конкретной задачи, и ни одного лишнего. На практике это означает, что агент для сортировки почты не должен иметь права отправлять письма от имени руководителя, а агент для подготовки сводок — не должен иметь права менять данные в CRM. Каждый лишний доступ — это канал, через который ошибка или внешнее воздействие превращается в инцидент.

Рекомендации по безопасности агентов от Microsoft и практические гайды сходятся в одном: изоляция учётных данных и границы входных данных — базовые меры. Это значит, что агент работает под отдельной учётной записью, а не под учёткой сотрудника, и что входные данные (письма, сообщения, документы) не могут напрямую менять его поведение без проверки. Без этого остальные настройки — лимиты, подтверждения, журналы — работают на дырявом фундаменте.

  • Отдельная учётная запись для агента: не учётка руководителя и не общий ящик отдела.
  • Права только на те объекты, которые нужны для задачи: чтение писем — да, отправка от имени руководителя — нет.
  • Запрет на изменение данных без явного правила: агент готовит черновик, а не правит запись в CRM.
  • Ограничение на количество действий в единицу времени: чтобы ошибка не превратилась в массовую рассылку.
  • Лимит расходов на внешние сервисы: чтобы агент не «сжёг» бюджет на платные запросы.
Контур ограничений ИИ-агентаЧетыре уровня, которые работают вместе: права, инструменты, лимиты и журнал.1Праваминимум доступов2Инструментыпроверяемые границы3Лимитыдействия и расходы4Журналчто и почему
Рисунок можно прокрутить вбок →
Схема построена на основе практических рекомендаций по безопасности ИИ-агентов (обзоры OWASP 2026 и гайды по архитектуре безопасности агентского ИИ).

Инструменты агента: где заканчивается свобода

Инструмент — это то, чем агент действует: отправка письма, запись в CRM, создание задачи, запрос к базе. Безопасность начинается с того, что каждый инструмент имеет проверяемые границы. Например, инструмент «отправить письмо» может быть ограничен списком получателей, шаблоном и обязательным подтверждением для внешних адресов. Инструмент «создать задачу» может быть ограничен проектом и типом задачи. Чем уже границы инструмента, тем меньше ущерб от ошибки.

Отдельная проблема — prompt-инъекции, когда внешний текст (письмо, сообщение, документ) пытается управлять агентом. Практические меры здесь — не «научить модель игнорировать плохие инструкции», а ограничить влияние входных данных: агент не должен выполнять действия, которые инициированы содержимым письма, без отдельного правила. Если агент читает письмо и создаёт задачу — это одно. Если он читает письмо и переводит деньги — это совсем другое, и такое поведение должно быть запрещено на уровне инструментов.

Безопасность агента — это не вопрос доверия к модели. Это вопрос того, какие действия модель физически может совершить и что об этом останется в журнале.

Лимиты: почему «без ограничений» — это дорого

Один из описанных инцидентов: агент без лимита расходов потратил $6531 за сутки. Это не значит, что любой агент потратит столько же. Это значит, что отсутствие лимита превращает ошибку в счёт. Лимиты бывают разные: количество действий в час, количество отправленных писем, сумма расходов на внешние сервисы, количество созданных записей. Задача лимита — не наказать агента, а остановить каскад, пока он не стал дорогим.

Лимиты должны быть привязаны к задаче. Для агента, который готовит ежедневную сводку, достаточно одного запуска в день и ограниченного числа запросов к базе. Для агента, который отвечает на входящие сообщения, нужен лимит на количество ответов и запрет на массовые рассылки. Если лимит сработал — это не сбой, а сигнал: агент попытался выйти за рамки, и это нужно разобрать.

Разрыв между внедрением и готовностью к безопасности ИИ-агентовДоля компаний, которые внедряют ИИ-агентов, и доля тех, кто считает себя готовым к их безопасности.020406080Доля компаний, %Внедряют ИИ-агентов79%Готовы к безопасности11%
Рисунок можно прокрутить вбок →
Данные из обзора статистики безопасности ИИ-агентов. Оговорка: это агрегированные показатели по выборке компаний, а не сплошное исследование рынка.

Журнал действий: что логировать, чтобы разобрать инцидент

Журнал действий ИИ-агента — это не лог ошибок и не отладочный вывод. Это запись того, что агент сделал, на основании чего и с каким результатом. Без журнала разбор инцидента превращается в гадание: непонятно, что именно пришло на вход, какой инструмент был вызван, какие параметры переданы и почему действие было разрешено или запрещено.

Минимальный набор полей журнала: время, идентификатор агента, входной запрос или событие, вызванный инструмент, параметры вызова, результат (успех или отказ), причина отказа. Если агент работает с внешними данными, полезно фиксировать источник этих данных. Если действие требует подтверждения человеком — кто подтвердил и когда. Такой журнал позволяет восстановить цепочку и понять, где именно сработала или не сработала защита.

Что фиксировать в журнале действий ИИ-агента
ПолеЗачем нужноПример
Время и идентификатор агентаСвязать действие с конкретным запуском2026-07-06 10:14, агент «почтовый помощник»
Входное событиеПонять, что запустило действиеНовое письмо от внешнего адреса
Инструмент и параметрыВосстановить, что именно было вызвано«создать задачу», проект X, срок 2 дня
РезультатОтличить выполненное действие от отказаУспех / отказ по лимиту
Причина отказаПонять, какая защита сработалаПревышен лимит действий в час
Подтверждение человекомЗафиксировать, кто и когда подтвердилПодтвердил руководитель, 10:16

Почему «человек подтверждает» не спасает без правил

Подтверждение человеком — популярная мера, и она действительно полезна. Но только если заранее определено, что именно подтверждается, кем и по какому правилу. Если агент присылает «Подтвердить?» на каждое действие, человек через неделю начинает подтверждать не глядя. Это не защита, а имитация защиты. Если правило не определено — непонятно, что считать опасным действием, а что рутиной.

Работающая схема выглядит иначе. Есть список действий, которые всегда требуют подтверждения: отправка письма внешнему адресату, изменение суммы, удаление записи, доступ к новому источнику данных. Есть список действий, которые выполняются без подтверждения, но с лимитом. И есть список действий, которые запрещены полностью. Подтверждение в такой схеме — не кнопка «на всякий случай», а конкретный шаг для конкретного класса действий.

  1. Определите классы действий: безопасные (с лимитом), требующие подтверждения, запрещённые.
  2. Для каждого класса зафиксируйте правило: кто подтверждает, в каком канале, сколько действует подтверждение.
  3. Настройте журнал так, чтобы подтверждение и отказ были видны в общей цепочке действий.
  4. Разбирайте срабатывания лимитов и отказы: это не шум, а материал для настройки правил.
  5. Пересматривайте правила при изменении задач агента: то, что было безопасно вчера, может стать рискованным сегодня.
79%
компаний внедряют ИИ-агентов
11%
считают себя готовыми к безопасности
6531$
потратил агент без лимита за сутки
Ключевые цифры по безопасности ИИ-агентов (по данным обзоров статистики)

Как это выглядит на практике: контур из четырёх уровней

Практический контур безопасности ИИ-агента собирается из четырёх уровней. Первый — права: отдельная учётная запись и минимальный набор доступов. Второй — инструменты: у каждого действия есть проверяемые границы, а влиянием входных данных управляют правила. Третий — лимиты: количество действий, расходы, частота запусков. Четвёртый — журнал: запись входа, инструмента, параметров, результата и причины отказа. Эти уровни не заменяют друг друга, а работают вместе.

Начать можно с одного процесса, где агент уже используется или планируется. Например, обработка входящих заявок или сортировка почты. Для этого процесса опишите права, инструменты, лимиты и поля журнала. Затем прогоните несколько сценариев: что будет, если агент получит письмо с подозрительной инструкцией, что будет при превышении лимита, что будет при отказе инструмента. Если на каждый вопрос есть ответ в правилах и запись в журнале — контур работает.

Если вы только выбираете, с чего начать автоматизацию с ИИ-агентом, посмотрите на наш подход и примеры проектов. А если нужно обсудить конкретный процесс и рамки для агента — свяжитесь с нами.

Хотите разобрать, какие права и лимиты нужны вашему ИИ-агенту? Напишите нам — начнём с одного процесса и конкретных правил.

Получить диагностику

Источники

  1. Безопасность ИИ-агентов: угрозы и практики защиты — Взяты общие практики защиты и рекомендации OWASP 2026; оговорка: материал обзорный, не содержит сплошной статистики по рынку.
  2. Лучшие практики безопасности ИИ-агентов | Melaya — Взяты принципы минимальных прав, изоляции учётных данных, границ входных данных и журналирования; оговорка: это практический гайд, а не исследование выборки.
  3. Безопасность ИИ-агентов в 2026: лимиты, доступы, контроль — Взяты пример инцидента с агентом, потратившим $6531 за сутки без лимита, и практики лимитов; оговорка: единичный описанный случай, не статистика.
  4. Статистика безопасности агентов ИИ: цифры, которые должны не — Взяты цифры 79% внедрения и 11% готовности к безопасности; оговорка: агрегированные показатели по выборке компаний, а не сплошное исследование.

Читайте также

Что мы делаем

Заявка

Обсудим вашу задачу

Опишите процесс, который отнимает время, — вернёмся с планом автоматизации и оценкой.

Заявка получена

Мы свяжемся с вами с вопросами для диагностики. Обычно отвечаем в течение рабочего дня.

Не удалось отправить

Что-то пошло не так. Напишите нам в Telegram или на i@islenkov.ru.