必须诚实地说:AI 员工一定会出错。这不是缺陷,是概率问题。因此设计的重点不是"让它不出错",而是"出错时可控"。

四道护栏,缺一不可。

护栏一:权限边界

要定义的三件事

维度说明
能看什么数据客户信息?成本价?利润率?
能改什么数据只能新增?能修改?能删除?
能在什么范围操作自己的客户?全部?
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。

建议的最小权限原则

按岗位给权限,不按身份给:

岗位权限
AI 客服读产品资料、读自己接待客户的记录;不能改订单
AI 销售助理读产品与价格、写客户跟进记录;不能改价格
AI 数据分析员读业务数据;不能写任何业务数据
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
一个原则:默认不给写权限,需要时才开。很多 AI 事故源于它"顺手"改了不该改的数据。

删除权限要格外谨慎

建议:不给 AI 任何删除权限。删除是不可逆操作,出错后无法恢复。即使给了修改权限,也应保留修改前的版本。

护栏二:金额红线

凡是涉及钱的,都要设定阈值。

场景红线示例
报价超过 X 元需人工确认
折扣超过 X% 需审批
退款任何退款都需人工
付款不开放
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。

阈值怎么定

参考两个标准:

  1. 出错后能承受的损失:如果 AI 报错一次价,损失多少是可接受的?
  2. 人工确认的成本:如果阈值太低,人工确认会变成负担,最终被绕过。
一个实用的做法:初期把阈值设低(多人工确认),跑一段时间确认准确率高后再逐步放宽。这比一开始就放开、出事后收紧要好得多。

护栏三:人工确认点

明确哪些动作 AI 不能单方面完成。

动作是否需要人工确认
回答常规产品咨询否
生成报价草稿是(发出前)
发送客户邮件是(首次)
修改客户信息是
确认订单是
承诺交期是
处理退款是
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
一个判断标准:这个动作如果做错了,会不会影响客户关系或直接造成损失? 会,就需要人工确认。

确认的设计要轻

人工确认不应该成为负担。有效的做法:

  • 确认界面直接显示 AI 的建议与依据
  • 一键通过/驳回,不需要重新操作
  • 批量处理相似的低风险事项

如果确认流程太重,人会习惯性点"通过",护栏就形同虚设。

护栏四:操作留痕

AI 做的每一件事都要能追溯。

记录用途
时间什么时候做的
动作做了什么
依据基于什么知识或数据
结果产生了什么变化
受影响的对象哪个客户/订单/数据
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。

为什么留痕重要

三个场景会用到:

  1. 出错后追溯:AI 为什么给出这个报价?依据是什么?
  2. 争议处理:客户说"你们的系统说可以"——能查到当时的记录
  3. 持续优化:哪些动作经常出错?需要调整规则或知识
一个设计要求:留痕不可删除、不可修改,只能追加。这样才具备追溯价值。

四道护栏的关系

```

权限边界 → 限制它能碰什么

金额红线 → 限制它能决定多大的事

人工确认 → 限制它能单方面完成什么

操作留痕 → 保证事后可追溯

```

四者互补:前三是事前与事中控制,最后是事后追溯。只有四道都设了,风险才真正可控。

一个额外的护栏:熔断机制

除了上述四道,建议加一个熔断机制:

触发条件动作
短时间内大量异常自动暂停 AI,转人工
某类问题频繁答错暂停该类别,提示补充知识
人工介入率突然升高告警并检查原因
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
熔断机制的价值在于:当 AI 因为知识过期或规则变化而开始批量出错时,能自动停下来,而不是持续产生错误直到被人发现。

常见疏漏

疏漏后果补救
给了 AI 删除权限数据不可逆丢失只给新增与修改,保留历史版本
金额红线设得太高一次错误造成重大损失初期设低,逐步放宽
确认流程太重人习惯性通过简化确认界面
留痕不完整出错无法追溯记录依据而不只是结果
没有熔断批量错误持续发生设置异常率阈值
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
“AI 犯错不可怕,可怕的是不知道它犯了错、不知道为什么犯的错。”— 初元AI 团队
AI 改错了数据,能恢复吗?+
需要保留原始记录。修改类操作应该保存修改前后的两个版本,或者保留变更日志(谁改的、什么时候、改前是什么、改后是什么)。这样既能追溯,也能在误操作时回滚。不建议给 AI 任何删除权限——删除是不可逆的,一旦出错无法恢复,风险与收益不成比例。如果确实需要清理数据,应该由人工在确认后执行。
人工确认会不会让 AI 员工失去意义?+
不会,只要确认的成本足够低。AI 员工的价值在于把"制作"变成"审核":人工从头做一份报价需要 30–60 分钟,审核一份 AI 生成的报价只需要 5–10 分钟。这个时间差就是价值。真正让 AI 失去意义的是"确认流程比自己做还麻烦"——所以确认界面的设计很关键,应该直接显示 AI 的建议和依据,一键通过。
出了事故怎么追责?+
责任主体是企业,这一点在使用 AI 员工时无法回避—— AI 不是法律主体。因此事前控制(四道护栏)比事后追责更重要。具体到内部管理,建议明确三件事:AI 的操作日志由谁定期审查、异常由谁负责处理、知识错误由谁负责修正。这些责任分配到人,风险才真正有人管。涉及客户赔偿等具体责任问题,建议咨询法律专业人士。
本文为 AI 员工风险控制的通用性建议,具体权限设计应结合企业实际与合规要求。