AI 智能体安全

在推理转化为行动的那个节点上,保护 AI 智能体的安全

用最小权限、凭证隔离、输入边界、审批关卡、追踪证据和经过测试的失败处理机制,保护企业级 AI 智能体的安全。

简明答案

AI 智能体的安全,始于最小权限原则。隔离凭证、把读操作和写操作分开、把检索到的内容当作不可信的输入来对待、验证工具参数、对有实际后果的操作要求审批、限制重复执行次数和支出上限,并保留追踪记录以供调查。

保护凭证与工具

不要把可重复使用的密钥放进提示词或模型可见的上下文里。把凭证绑定到服务端的连接器上,收窄它们的授权范围,并且尽可能暴露专门设计的操作,而不是原始的 shell、数据库或 HTTP 访问权限。

把每一个输入都当作可能存在恶意

提示词注入攻击可能来自邮件、网页、文档、工具返回结果,甚至是被控制手机的屏幕内容。检索到的文本只是证据,不是指令。要把系统策略放在检索内容之外,并验证每一次有实际后果的工具调用参数。

  • 把指令和检索到的数据分开
  • 对目标地址和操作类型设置白名单
  • 设置迭代次数、时间、成本和写操作的上限
  • 禁止智能体修改自己的权限
  • 当授权范围发生变化时,要求重新审批

为遏制与事后调查而设计

尽可能为每个工作流使用独立的身份,记录工具调用和审批过程,并提供一条能快速全局关闭的路径。要测试部分失败、重复投递、过期状态和重放攻击这些情况。安全性取决于当模型或某个依赖出现意外行为时会发生什么,而不只取决于一切顺利时的情况。

常见问题

更强的提示词能解决提示词注入问题吗?

不能。提示词确实有帮助,但真正有效的防护还需要权限边界、对不可信输入的处理、工具参数验证、审批关卡和遏制机制。

智能体应该获得用户的全部权限吗?

通常不应该。只给这个工作流在其特定任务和生命周期内所需的最小权限。

AI 智能体的凭证应该存放在哪里?

凭证应该存放和使用在模型可见文本之外,理想情况下是放在一个具备可审计能力、授权范围收窄的托管密钥存储或服务端连接器中。

最近审核时间:2026 年 8 月 20 日 · 当前产品范围:支持 Android,不支持 iOS
加入社区
// Cookie
Melaya 使用一小组第一方 cookie,仅用于身份验证、维持会话和保护平台。默认不使用广告 cookie、跨站追踪器或第三方分析。完整 cookie 清单见我们的 隐私政策.