AI 分类概率阈值怎么定？把误报、漏报和人工容量写成三路规则

一个分类器给某份申请输出 0.73，这并不能直接回答“批准还是拒绝”。必须先知道它预测的正类是什么、这个数能否解释为概率、两种错误各损失什么，以及复核者在截止时间前能处理多少件。把这些条件写清，才有理由设置自动通过、自动拒绝和人工复核三个出口。

本页假定任务与候选分类器已经确定。模型选型评分表比较候选系统；评测集蓝图决定哪些案例需要标注、如何留出。这里固定一个二分类器，设计其概率到动作的决策层。自动评分器校准则检查规则或 LLM 裁判能否正确评价一份生成输出；裁判自报的数字不能直接套用本页的概率公式。

先定义正类、动作与损失

以虚构的软件教育折扣申请为例，y=1 精确定义为“按当前政策应获折扣”。p=P(y=1 | 本次可用输入)。自动通过一份不合格申请是误报；自动拒绝一份合格申请是漏报。人工复核者可以核对额外材料，再批准或拒绝。自动拒绝应附原因与申诉路径，不能把概率当成政策依据本身。

先固定政策版本、标签时间范围和三条动作允许使用的证据。缺失必要材料、政策规则冲突、无效分数、任务范围以外的申请，应走明确的待补材料或人工路径，不能因为模型没有给出高分就自动拒绝。若有必须人工处理的申请，先从可用复核容量中扣除，再讨论普通申请的阈值。

下面的损失只是教学假设，单位是相对于正确决定的增量损失，不是某家公司实测金额：误通过成本 C_FP=12，误拒绝成本 C_FN=8，复核一件的成本 C_H=2.5。为演算方便，暂假定人工判断正确、及时完成，正确的自动决定没有增量损失。于是：

动作	对一件校准概率为 p 的申请，期望损失
自动拒绝	L_拒=8p
自动通过	L_通=12(1−p)
人工复核	L_人=2.5

没有人工选项时，自动通过与拒绝在 p=12/(12+8)=0.60 处损失相等。这不是通用的 0.5 分类门槛；Google 的分类指南也明确指出，类别比例或错误代价不对称时，默认的 0.5 未必合适。如果人工容量不限，只有 8p>2.5 且 12(1−p)>2.5 时复核比两个自动动作都便宜，也就是约 0.3125<p<0.7917。边界相等时按事先写定的规则处理。

案例一：十件已知申请，只有三个复核名额

再加入一个关键限制：今天这十件申请的分数已全部到齐，今天只能人工复核三件。对每件先算较便宜的自动动作，再计算“复核收益” min(8p, 12(1−p))−2.5。收益越大，在上述简化假设下越值得优先占用名额。

校准概率 p	最小自动损失	复核收益	本批动作
0.10	0.80	−1.70	自动拒绝
0.20	1.60	−0.90	自动拒绝
0.35	2.80	0.30	自动拒绝，容量受限
0.45	3.60	1.10	自动拒绝，容量受限
0.52	4.16	1.66	人工复核
0.60	4.80	2.30	人工复核
0.68	3.84	1.34	人工复核
0.75	3.00	0.50	自动通过，容量受限
0.85	1.80	−0.70	自动通过
0.95	0.60	−1.90	自动通过

三件复核名额给 0.60、0.52、0.68。对于这一批已知分数，动作恰好可简写为：p<0.52 自动拒绝；0.52≤p≤0.68 人工复核；p>0.68 自动通过。全部自动处理的示例期望损失是 27.0；三件原本的最小自动损失合计 4.16+4.80+3.84=12.80，换成人工的 3×2.5=7.50 后是 27.0−12.8+7.5=21.7。这些是基于假设概率与成本的演算，不是真实业务的错误率或节省额。

0.35、0.45 和 0.75 仍有正的复核收益，只是被容量挤出。表格并没有证明这三件自动处理“安全”。如果业务规定其中任何一种错误不可接受，那么“三个名额覆盖十件”的方案可能根本不可行；应增加人工、减少受理范围或暂停相关自动动作，不能用成本平均值覆盖硬性门槛。

分数必须先通过概率校准

上述乘法只有在 p 对当前任务有概率意义时才成立。scikit-learn 将学出分数与按阈值采取动作分开，并把良好校准解释为：许多预测接近 0.8 的样本中，实际正类占比也接近 80%。这是一组样本的频率性质，不是对某一件申请的正确保证。模型的原始 logit、相似度、排序分，以及 LLM 自称的“80% 信心”，都不能未经检验地当作 p。

准备四个有清楚边界的数据用途：①训练分类器；②在不与训练混用的案例上拟合概率校准并检查可靠性曲线；③选择动作阈值、成本假设与容量规则；④在未参与前三步的保留样本上作最终评估。样本有限时可在开发部分使用交叉验证，但仍应保留最后一次未触碰的评估集；有明显时间变化时，最终集还应来自较晚的时间段。scikit-learn 特别警告，不要用训练分类器的同一数据调决策阈值。若同一批案例既反复调校准、又挑阈值、又宣布最终效果，数字会过于乐观。

在校准图上同时展示每个概率区间的件数、平均预测概率和真实正类比例，并检查重要任务切片。很少的正类或过窄分箱会让曲线摇摆；一个总体概率指标也可能掩盖局部失准。scikit-learn 指出，Brier loss 同时受区分能力和随机性影响，较低的单一 Brier 值并不自动证明校准更好。政策标签变化、申请者构成变化或输入字段改版后，要重新检查概率含义。

案例二：流式到件让静态区间超出容量

0.52 与 0.68 不是未来流式到件的固定建议。十件分数已知时，可以选出收益最高的三件；线上逐件到达时，系统并不知道后面是否还有更值得复核的申请。即使固定两个阈值，新一天落入中间带的件数也可能远超三件。若等到收齐一批才排序，又必须确认等待不会错过用户的处理期限。

例如第二天 09:00～09:20 连续来了 0.54、0.56、0.58、0.60 四份申请，而当班人员在承诺的 18:00 截止前最多只能复核三件。沿用上一批的 0.52～0.68 人工区间，四件都会进入队列；第四件到来时名额已满，恰好还是本组中最接近原始自动决策交点的一件。系统应把它明确标为待审并立即通知队列负责人增援。若无人能在截止前接手，就要告知无法履约、升级这件申请并暂停继续承诺同样的当日处理；不能暗中改成自动通过或拒绝。这也是虚构的压力演练，说明从已知十件算出的两个边界不能保证未来每个时段都满足人工容量。

生产方案先用独立、尽量接近近期流量的样本估计各时段人工件数，再回放实际到达顺序、峰值、复核时长和截止时间。写明队列负责人、最大排队量、并列分数处理及容量用尽后的动作：在允许的期限内明确标记“待复核”，或收窄/暂停受影响的自动流程并补充复核能力。**不得把已满队列里的案件悄悄改成自动批准或拒绝。**若不同案例的错误损失或人工准确性不同，收益次序未必能由一对全局阈值表达，应按经批准的任务切片另写规则。

真正的人工复核也不是零错误、零等待。正式损失账本要加上审核人误判、补材料、延迟、申诉和恢复成本；复核包要让人看到政策版本、证据与可选动作。人工复核关卡说明如何把关卡放在结果仍能改变的位置。

在未触碰样本和上线后验证

阈值与溢出规则冻结后，再运行最终留出集。至少分别报告：自动通过件数及其中的误通过、自动拒绝件数及其中的误拒绝、人工件数及最终复核结果、总体与重要切片的成本估计，以及每时段队列峰值和超时。写清每项比例的分母；人工件不能算作“模型自动判对”，也不能只用一个准确率遮住少数严重错误。

上线后要对自动通过和自动拒绝都抽取获准的样本独立复核，并接回延迟出现的真实结果。只看人工队列或申诉件会形成选择偏差：某些自动拒绝甚至使后续正类结果无法自然出现。观察正类比例、概率校准、任务切片、人工改判和排队峰值；工作流漂移观察板可把变化与收窄、重校准或暂停动作连接起来。业务政策、模型、校准器、成本或流量变化时，都应重新验证，而不是只挪动阈值。

填写阈值与分流工作表

下方工作表可填写、复制和导出。先用合成编号或脱敏汇总记录；它会在当前浏览器保存草稿。另一位复核者应能根据表中的成本、分数、容量和证据重算路线，指出哪一类案件仍承受未覆盖的风险。

不适用边界

这是一种在已定义的二分类任务上分配动作的方法，不会替政策制定者决定谁有资格，也不把统计校准变成个案保证。高影响、受监管或难以申诉的决定可能不适合自动拒绝，即使期望损失看似较低。若标签本身有争议、分数不能校准、人工容量或质量不可测，应先缩小自动化权限并修复证据基础。