人工介入型 AI
在 AI 智能体跨入真实世界的那一刻,加上人工审批
设计人工介入型 AI 智能体:基于风险的审批关卡、清晰的证据、可编辑草稿、超时机制、升级处理与可审计的决策。
简明答案
人工介入的设计,应该在从分析走向实际后果的那一步设置关卡。在发送客户消息、支付、发布、删除、下单、权限变更等高影响力写操作之前,立即请求审批,并展示证据和确切的拟执行操作。
根据后果的严重程度选择关卡
不要打断每一个读操作或格式调整步骤。应该根据可逆性、受众范围、财务影响、法律后果、含糊程度,以及对底层状态的把握程度来设置关卡。人的决策,应该发生在执行前最后一个安全的时刻。
让审批建立在充分信息之上
一个没有上下文的「批准」按钮,只是走个形式。要展示原始证据、确切的目标位置、拟提交的内容、受影响的记录、预期的副作用和其他备选方案。如果编辑比重新运行整个流程更安全,就让审核人直接编辑草稿。
- 批准、驳回与编辑三种选择
- 超时与升级处理机制
- 审核人的身份与时间戳
- 指向拟执行操作和证据的不可篡改链接
- 审批过期后不能默默继续执行
衡量审批关卡的效果
跟踪驳回原因、编辑幅度、决策所需时间、重复请求次数,以及审批之后的纠正情况。较高的驳回率或大幅编辑,说明上游的智能体或上下文需要改进。如果审核人只是在给不清楚的请求盖橡皮图章,那么较低的驳回率并不能证明这个关卡真的有用。
常见问题
哪些智能体操作应该要求人工审批?
面向客户的消息、发布、支付、交易、删除、权限变更、敏感数据传输,以及其他有实际后果或难以撤销的写操作,都是设置审批的重点对象。
有了人工审批,智能体就安全了吗?
人工审批能降低风险,但仅靠它并不够。权限控制、参数验证、清晰的证据、审核人培训和遏制机制仍然重要。
审批内容可以被编辑吗?
对于可以生成草稿的操作,可编辑的审批通常比简单的二选一更好。最终执行的内容和审核人所做的修改,都应该被记录下来。
继续阅读指南
最近审核时间:2026 年 8 月 20 日 · 当前产品范围:支持 Android,不支持 iOS
