Защищай ИИ-агентов в точке, где рассуждение превращается в действие
Защищай корпоративных ИИ-агентов: минимум прав, изоляция учётных данных, границы входных данных, гейты подтверждения, трейсы и проверенное поведение при сбоях.
Безопасность ИИ-агентов начинается с минимально необходимых прав. Изолируй учётные данные, разделяй чтение и запись, относись к найденному контенту как к недоверенным входным данным, проверяй аргументы инструментов, требуй подтверждение для значимых действий, ограничивай повторы и расходы и храни трейсы для расследований.
Защищай учётные данные и инструменты
Не размещай многоразовые секреты в промптах или в контексте, видимом модели. Привязывай учётные данные к серверным коннекторам, сужай их права доступа и, где это возможно, предоставляй узкоспециализированные операции вместо прямого доступа к командной строке, базе данных или HTTP.
Считай любые входные данные потенциально опасными
Промпт-инъекция может прийти через почту, веб-страницы, документы, результаты инструментов и экран управляемого телефона. Найденный текст служит доказательством, а не инструкцией. Держи системную политику вне найденного контента и проверяй аргументы каждого значимого вызова инструмента.
- Отделяй инструкции от найденных данных
- Веди белый список адресатов и типов действий
- Задай лимиты на итерации, время, стоимость и записи
- Не давай агенту менять собственные права доступа
- Требуй новое подтверждение при изменении охвата прав
Проектируй с расчётом на изоляцию и расследование
Используй отдельную идентичность для каждого рабочего процесса, где это возможно, фиксируй вызовы инструментов и подтверждения и предусмотри быстрый способ полностью отключить агента. Тестируй частичные сбои, дублирующую доставку, устаревшее состояние и атаки повторного воспроизведения. Безопасность зависит от того, что происходит, когда модель или зависимость ведёт себя неожиданно, а не только от штатного сценария.
Часто задаваемые вопросы
Можно ли решить проблему промпт-инъекций более сильным промптом?
Нет. Промпты помогают, но эффективная защита также требует границ прав доступа, обработки недоверенных входных данных, проверки инструментов, гейтов подтверждения и изоляции.
Должен ли агент получать все права пользователя?
Как правило, нет. Давай рабочему процессу минимально необходимые права для конкретной задачи и на нужный срок.
Где должны храниться учётные данные ИИ-агента?
Учётные данные должны храниться и использоваться вне текста, видимого модели, в идеале в управляемом хранилище секретов или серверном коннекторе с узкими правами доступа и возможностью аудита.
