必须诚实地说:AI 员工一定会出错。这不是缺陷,是概率问题。因此设计的重点不是"让它不出错",而是"出错时可控"。
四道护栏,缺一不可。
护栏一:权限边界
要定义的三件事
| 维度 | 说明 |
|---|---|
| 能看什么数据 | 客户信息?成本价?利润率? |
| 能改什么数据 | 只能新增?能修改?能删除? |
| 能在什么范围操作 | 自己的客户?全部? |
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
建议的最小权限原则
按岗位给权限,不按身份给:
| 岗位 | 权限 |
|---|---|
| AI 客服 | 读产品资料、读自己接待客户的记录;不能改订单 |
| AI 销售助理 | 读产品与价格、写客户跟进记录;不能改价格 |
| AI 数据分析员 | 读业务数据;不能写任何业务数据 |
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
一个原则:默认不给写权限,需要时才开。很多 AI 事故源于它"顺手"改了不该改的数据。
删除权限要格外谨慎
建议:不给 AI 任何删除权限。删除是不可逆操作,出错后无法恢复。即使给了修改权限,也应保留修改前的版本。
护栏二:金额红线
凡是涉及钱的,都要设定阈值。
| 场景 | 红线示例 |
|---|---|
| 报价 | 超过 X 元需人工确认 |
| 折扣 | 超过 X% 需审批 |
| 退款 | 任何退款都需人工 |
| 付款 | 不开放 |
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
阈值怎么定
参考两个标准:
- 出错后能承受的损失:如果 AI 报错一次价,损失多少是可接受的?
- 人工确认的成本:如果阈值太低,人工确认会变成负担,最终被绕过。
一个实用的做法:初期把阈值设低(多人工确认),跑一段时间确认准确率高后再逐步放宽。这比一开始就放开、出事后收紧要好得多。
护栏三:人工确认点
明确哪些动作 AI 不能单方面完成。
| 动作 | 是否需要人工确认 |
|---|---|
| 回答常规产品咨询 | 否 |
| 生成报价草稿 | 是(发出前) |
| 发送客户邮件 | 是(首次) |
| 修改客户信息 | 是 |
| 确认订单 | 是 |
| 承诺交期 | 是 |
| 处理退款 | 是 |
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
一个判断标准:这个动作如果做错了,会不会影响客户关系或直接造成损失? 会,就需要人工确认。
确认的设计要轻
人工确认不应该成为负担。有效的做法:
- 确认界面直接显示 AI 的建议与依据
- 一键通过/驳回,不需要重新操作
- 批量处理相似的低风险事项
如果确认流程太重,人会习惯性点"通过",护栏就形同虚设。
护栏四:操作留痕
AI 做的每一件事都要能追溯。
| 记录 | 用途 |
|---|---|
| 时间 | 什么时候做的 |
| 动作 | 做了什么 |
| 依据 | 基于什么知识或数据 |
| 结果 | 产生了什么变化 |
| 受影响的对象 | 哪个客户/订单/数据 |
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
为什么留痕重要
三个场景会用到:
- 出错后追溯:AI 为什么给出这个报价?依据是什么?
- 争议处理:客户说"你们的系统说可以"——能查到当时的记录
- 持续优化:哪些动作经常出错?需要调整规则或知识
一个设计要求:留痕不可删除、不可修改,只能追加。这样才具备追溯价值。
四道护栏的关系
```
权限边界 → 限制它能碰什么
金额红线 → 限制它能决定多大的事
人工确认 → 限制它能单方面完成什么
操作留痕 → 保证事后可追溯
```
四者互补:前三是事前与事中控制,最后是事后追溯。只有四道都设了,风险才真正可控。
一个额外的护栏:熔断机制
除了上述四道,建议加一个熔断机制:
| 触发条件 | 动作 |
|---|---|
| 短时间内大量异常 | 自动暂停 AI,转人工 |
| 某类问题频繁答错 | 暂停该类别,提示补充知识 |
| 人工介入率突然升高 | 告警并检查原因 |
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
熔断机制的价值在于:当 AI 因为知识过期或规则变化而开始批量出错时,能自动停下来,而不是持续产生错误直到被人发现。
常见疏漏
| 疏漏 | 后果 | 补救 |
|---|---|---|
| 给了 AI 删除权限 | 数据不可逆丢失 | 只给新增与修改,保留历史版本 |
| 金额红线设得太高 | 一次错误造成重大损失 | 初期设低,逐步放宽 |
| 确认流程太重 | 人习惯性通过 | 简化确认界面 |
| 留痕不完整 | 出错无法追溯 | 记录依据而不只是结果 |
| 没有熔断 | 批量错误持续发生 | 设置异常率阈值 |
表:本表为作者依据行业公开资料整理,具体数值随企业情况而异。
“AI 犯错不可怕,可怕的是不知道它犯了错、不知道为什么犯的错。”— 初元AI 团队
AI 改错了数据,能恢复吗?+
需要保留原始记录。修改类操作应该保存修改前后的两个版本,或者保留变更日志(谁改的、什么时候、改前是什么、改后是什么)。这样既能追溯,也能在误操作时回滚。不建议给 AI 任何删除权限——删除是不可逆的,一旦出错无法恢复,风险与收益不成比例。如果确实需要清理数据,应该由人工在确认后执行。
人工确认会不会让 AI 员工失去意义?+
不会,只要确认的成本足够低。AI 员工的价值在于把"制作"变成"审核":人工从头做一份报价需要 30–60 分钟,审核一份 AI 生成的报价只需要 5–10 分钟。这个时间差就是价值。真正让 AI 失去意义的是"确认流程比自己做还麻烦"——所以确认界面的设计很关键,应该直接显示 AI 的建议和依据,一键通过。
出了事故怎么追责?+
责任主体是企业,这一点在使用 AI 员工时无法回避—— AI 不是法律主体。因此事前控制(四道护栏)比事后追责更重要。具体到内部管理,建议明确三件事:AI 的操作日志由谁定期审查、异常由谁负责处理、知识错误由谁负责修正。这些责任分配到人,风险才真正有人管。涉及客户赔偿等具体责任问题,建议咨询法律专业人士。
本文为 AI 员工风险控制的通用性建议,具体权限设计应结合企业实际与合规要求。