人在回路的设计

全自动会在真正要紧的那批情况下翻车。全人工审核又等于把价值扔掉。人在回路（human-in-the-loop，HITL）的设计问题只有一个：人到底该放在哪个位置。

答案不是「放在重要任务上」，而是放在不可逆的动作和低信心的输出上——这两个属性是你真能评估的。

按可逆性设关卡

按「出错要付什么代价」给动作分类。

可逆且代价小——读数据、跑查询、生成草稿、改一个纳入版本控制的文件。放手让 agent 跑。审核可有可无，在这里设关卡只会毁掉自动化的价值，换不来任何安全上的好处。

可逆但可见——发内部评论、建工单、更新一条不关键的记录。通知，而不是拦截。让它做，同时把撤销做得容易。

不可逆或对外可见——发邮件、付款、删数据、部署、给客户发消息。**先确认。**一开始，一律如此。

这是第一判据，比「重要性」好用，因为它可观测。一个重要的只读查询不需要关卡；一封看起来无足轻重的对外邮件需要。

加关卡之前，有一个值得先做的设计动作：**把不可逆的动作变成可逆的。**发邮件改成存草稿，删除改成软删除，部署改成预发布。用户批准一份草稿，是一种不额外花成本的关卡，体验往往还比一个确认弹窗更好。

按信心设关卡

第二条判据。把没把握的情况转给人，有把握的直接放行。

难点在于模型自报的信心是未经校准的——问它「你确定吗」，它给你一句「把握形状」的话，依据并不比原来的回答更多。

真正管用的信号：

**校验失败。**输出没过 schema 检查、范围检查或算术检查。便宜又可靠。

**多次生成结果不一致。**用非零的 temperature 生成几次；结果飘忽说明确实没把握。代价是多花几次调用，但这是现有信号里最诚实的。

**检索质量。**对 RAG 来说，相似度分数低或者压根没检索到，比模型说的任何自我评价都更能预测答案要出问题。

**允许明确弃答。**给模型一条路说「没把握」或「文档里没有」，并且奖励它这么说。管用的原因是它抵消了那个被训练出来的作答倾向。

**分布外输入。**异常长、异常短、语言不对，或者和你的评测集里任何东西都不像。

审核环节本身怎么设计

一个没人理的关卡比没有关卡更糟，因为它造出了监督的样子，却没有监督的实质。

**给人看变了什么，不是看它说了什么。**给 diff、给出那封要发出去的原文、给出被改的那条记录。不要给模型对自己意图的总结——那是生成出来的文本，不是审计轨迹。

**把它依据的东西一起给人。**RAG 回答就附上检索到的段落；agent 动作就附上推理过程。审核者没有输入材料就没法判断。

**让批准便宜、让拒绝有用。**批准一键完成；拒绝时填的理由变成一条评测用例。

**能批量就批量。**一屏里看二十条，胜过被打断二十次。

**提防盖章式批准。**如果批准率接近 100%，这个关卡就是做戏。要么模型已经可靠到可以撤掉关卡，要么审核根本没在真审——去量，别假设。

随时间放宽

关卡只是起点，不是永久状态。

一开始，所有后果重大的动作都过审核。按类别统计批准率。一直很高的类别，撤掉关卡，但保留抽样。一直很低的类别，关卡留着，底下的问题要修。

这要求你真的去记录批准情况——于是审核队列既是一道安全机制，也是一个评测数据来源。被拒的那些案例，正是值得放进测试集的样本。

要点回顾

• 用可逆性和信心设关卡，不是重要性——这两样都可观测。
• 可逆的动作放手；可见的动作通知；不可逆的动作先确认。
• 比设关卡更好的办法是把动作变可逆——发件改成草稿，删除改成软删除。
• 模型自报的信心不可信；用校验失败、多次生成不一致、检索分数和明确弃答来判断。
• 给人看 diff 和输入材料，让批准足够便宜，把 100% 的批准率当成关卡失灵。
• 等数据证明可靠了，再一类一类地把关卡放宽。

下一篇： 评测 agent