概率校准:让七成把握真接近七成
这一课在解决什么
口头说「七成把握」,长期有没有七成成真?写成数字,事后按置信度分桶对账。
场景
会上你说:「这个需求两周内能做完,大概七成把握。」没人追问七成怎么来的。两周后延期了。你记得的是「那次估错了」,很少去查:过去半年里,凡是你说七成的判断,真正按时的比例到底是多少。
单次对错说明不了什么。要看的是同一档口头把握,长期有没有贴上真实频率。研究里把这种对齐叫概率校准(calibration)。下面练:怎么写成数字、事后怎么对账。
在算什么
校准看的是一批判断,不是这一次。你标 70% 的那一堆,长期大约七成真发生,就算校准大致对了。若你平均总说 80%,实际只对一半,那是过置信:自信系统性偏高。
对照例子(甲乙都对了 12 次):
| 自信 | 实际 | |
|---|---|---|
| 甲 | 20 次都写 90% | 对了 12 次(60%) |
| 乙 | 平均写 60% | 也对了 12 次(60%) |
校准更好的是乙——置信贴着正确率;甲过置信很明显。
给单次预报打分常用 Brier 分数:(预测概率 − 结果 0 或 1) 的平方,再对一批取平均,越低越好。一直瞎猜 50%,大约 0.25。标 0.9 却错了,比标 0.6 却错了亏得更多——它同时罚方向错和自信过头。日常不用每条手算,心里有这杆秤就行。
Lichtenstein 与 Fischhoff(1980)在该研究条件下发现:对概率评估做多轮强化训练并给综合反馈后,校准能较快改善,改善多半出现在第一次认真反馈之后;但换到不太相关的任务,有的几乎带不过去。所以光懂词不够,要在你真正下判断的事上记分。
Koriat、Lichtenstein 与 Fischhoff(1980):人常先选定答案,再主要搜集支持理由,自信容易偏高。实验里,选完后再写一条反对理由,比再写一条支持理由更能让置信度贴合对错;只找支持理由帮不上忙。
别搞错的地方
- 单次对错 ≠ 校准。看的是你标 0.7 的那一堆,实际对了几成。
- 「我很有把握」≠ 已校准。把握感可以很高,同时系统性偏高。
- 训练改善校准,不等于换领域自动带过去;要在你的真实决策上继续记分。
- 校准好 ≠ 预测细节都准。还会不会在不同情境下拉开概率,是另一件事;本课先抓校准。
- 极端罕见、样本极少的事,别硬套长期频率。交稿过不过、报价成不成、排期赶不赶得上这类能重复揭晓的判断,更适合练。

两周怎么记
-
只选两周内能揭晓的判断
结果必须能变成发生 / 没发生。模糊的「感觉会好」先不记。 -
写成数字
用 0.5、0.6、0.7、0.8、0.9。少用「大概」「应该」「八九不离十」。 -
定稿前写一条反对理由
一句就够:什么情况下你会错。通常比再堆一条支持理由更能压过置信。 -
揭晓后记一行
日期|判断|概率 p|结果 0/1|(p−结果)²。大约二十条再看趋势。 -
按置信度分桶对账
标 0.7 的那堆实际对了几成?平均置信比正确率高多少?过置信就下次系统往下拨半档。
先用在排期上
别一次迁到四个领域。先把「按时交付」练两周。接到活时写:按时 0.6(或你真实想的数字);定稿前写一条反对理由,比如「依赖方还没回、中间有两天评审」。到期对照:发生写 1,没发生写 0。攒满十几条,看你标 0.7 的那堆实际按时比例。若你总说七成、实际只有五成,下次开口前先往下拨半档,再用拨过的数字对外承诺。
其它场合(大额消费、考前按章自评)同一套:可验证预测 → 数字 → 反对理由 → 揭晓对账。等排期这桶跑顺了再扩。
核对前先想
自测
先自答,再点核对。答案默认隐藏。
甲:20 次都写 90%,对了 12 次。乙:平均写 60%,也对了 12 次。谁的校准更好?
- A. 甲
- B. 乙
- C. 差不多
选完答案后,再写哪类理由通常更能让置信贴合对错?
- A. 支持
- B. 反对
- C. 差不多
文献