返回目录
第 1 期概率与决策中

概率校准:让七成把握真接近七成

这一课在解决什么

口头说「七成把握」,长期有没有七成成真?写成数字,事后按置信度分桶对账。

场景

会上你说:「这个需求两周内能做完,大概七成把握。」没人追问七成怎么来的。两周后延期了。你记得的是「那次估错了」,很少去查:过去半年里,凡是你说七成的判断,真正按时的比例到底是多少。

单次对错说明不了什么。要看的是同一档口头把握,长期有没有贴上真实频率。研究里把这种对齐叫概率校准(calibration)。下面练:怎么写成数字、事后怎么对账。

概率校准折线图:口头把握对实际成真比例,过置信折线在对角线下方
图虚线是完美校准;实线示意过置信——口头把握系统性偏高。示意方向,非某次实验精确点。

在算什么

校准看的是一批判断,不是这一次。你标 70% 的那一堆,长期大约七成真发生,就算校准大致对了。若你平均总说 80%,实际只对一半,那是过置信:自信系统性偏高。

对照例子(甲乙都对了 12 次):

自信 实际
甲 20 次都写 90% 对了 12 次(60%)
乙 平均写 60% 也对了 12 次(60%)

校准更好的是乙——置信贴着正确率;甲过置信很明显。

给单次预报打分常用 Brier 分数:(预测概率 − 结果 0 或 1) 的平方,再对一批取平均,越低越好。一直瞎猜 50%,大约 0.25。标 0.9 却错了,比标 0.6 却错了亏得更多——它同时罚方向错和自信过头。日常不用每条手算,心里有这杆秤就行。

Lichtenstein 与 Fischhoff(1980)在该研究条件下发现:对概率评估做多轮强化训练并给综合反馈后,校准能较快改善,改善多半出现在第一次认真反馈之后;但换到不太相关的任务,有的几乎带不过去。所以光懂词不够,要在你真正下判断的事上记分。

Koriat、Lichtenstein 与 Fischhoff(1980):人常先选定答案,再主要搜集支持理由,自信容易偏高。实验里,选完后再写一条反对理由,比再写一条支持理由更能让置信度贴合对错;只找支持理由帮不上忙。

过置信文献向重绘:各置信度分桶上口头把握高于实际正确率
图文献向示意:分桶后口头把握常高于实际正确率(过置信)。重绘自常见校准图思路,非 Lichtenstein & Fischhoff(1980)原文精确数据;DOI: 10.1016/0030-5073(80)90052-5。

别搞错的地方

  • 单次对错 ≠ 校准。看的是你标 0.7 的那一堆,实际对了几成。
  • 「我很有把握」≠ 已校准。把握感可以很高,同时系统性偏高。
  • 训练改善校准,不等于换领域自动带过去;要在你的真实决策上继续记分。
  • 校准好 ≠ 预测细节都准。还会不会在不同情境下拉开概率,是另一件事;本课先抓校准。
  • 极端罕见、样本极少的事,别硬套长期频率。交稿过不过、报价成不成、排期赶不赶得上这类能重复揭晓的判断,更适合练。
隐喻插图:会上口头表态把握,与事后安静对账对照
图口头把握 vs 事后对账:会上说「七成」,价值在揭晓后把同一档置信与结果并排记下。

两周怎么记

  1. 只选两周内能揭晓的判断
    结果必须能变成发生 / 没发生。模糊的「感觉会好」先不记。

  2. 写成数字
    用 0.5、0.6、0.7、0.8、0.9。少用「大概」「应该」「八九不离十」。

  3. 定稿前写一条反对理由
    一句就够:什么情况下你会错。通常比再堆一条支持理由更能压过置信。

  4. 揭晓后记一行
    日期|判断|概率 p|结果 0/1|(p−结果)²。大约二十条再看趋势。

  5. 按置信度分桶对账
    标 0.7 的那堆实际对了几成?平均置信比正确率高多少?过置信就下次系统往下拨半档。

先用在排期上

别一次迁到四个领域。先把「按时交付」练两周。接到活时写:按时 0.6(或你真实想的数字);定稿前写一条反对理由,比如「依赖方还没回、中间有两天评审」。到期对照:发生写 1,没发生写 0。攒满十几条,看你标 0.7 的那堆实际按时比例。若你总说七成、实际只有五成,下次开口前先往下拨半档,再用拨过的数字对外承诺。

其它场合(大额消费、考前按章自评)同一套:可验证预测 → 数字 → 反对理由 → 揭晓对账。等排期这桶跑顺了再扩。

核对前先想

自测

1单选题

甲:20 次都写 90%,对了 12 次。乙:平均写 60%,也对了 12 次。谁的校准更好?

  • A. 甲
  • B. 乙
  • C. 差不多
2单选题

选完答案后,再写哪类理由通常更能让置信贴合对错?

  • A. 支持
  • B. 反对
  • C. 差不多

文献

来源

  1. Lichtenstein & Fischhoff (1980) 校准训练 90052-5) — *Organ Behav Hum Perform*
  2. Koriat 等 (1980) 自信与理由 — *J Exp Psychol*
  3. Brier (1950) 概率预报打分 078) — *Mon Weather Rev*
  4. https://doi.org/10.1016/0030-5073(80)90052-5
  5. https://doi.org/10.1175/1520-0493(1950)078