论文讲解 · 约 11 分钟 · AI 合成配音

人加 AI，什么时候才能比双方单独做得更好？

Vaccaro, Almaatouq & Malone (2024) · When combinations of humans and AI are useful: A systematic review and meta-analysis
Nature Human Behaviour 8: 2293–2303 · DOI ↗
开场 p. 2293 · 示例分数为编辑设想
说法一
AI 提高了人的表现
说法二
组合没发挥出最好的水平
- - - 跟人单独比：75 > 60
- - - 跟更强的一方比：75 < 80
两种说法都对 · 差在比较对象
NATURE HUMAN BEHAVIOUR · 8: 2293–2303 · 2024
When combinations of humans and AI are useful: A systematic review and meta-analysis
《人和 AI 的组合什么时候有用：系统综述与元分析》
Michelle Vaccaro、Abdullah Almaatouq、Thomas Malone · 麻省理工学院集体智能研究中心
74 篇论文›106 项实验›370 个效应量
预先登记 · 检索 2020 年 1 月至 2023 年 6 月发表的研究 · 最初检索到 5126 篇
一项实验有几个处理组、几种指标 → 就有几个效应量
先说答案
比人单独
平均更好
人的增强 ✓
比两方里更强的一方
没有胜过
人机协同 ✗
作者汇总的这批实验里的平均结果 · p. 2295
增强与协同，差一个比较基准 p. 2294
人的增强 · human augmentation
人机组合 > 人单独
人机协同 · human–AI synergy
人机组合 > 人单独和 AI 单独里更好的那个
人 60AI 80组合 75→增强 ✓协同 ✗
只报告 60 → 75
看不到 AI 单独的 80，就看不出组合还损失了本来能达到的表现
只看增强，也有用处
法律、伦理、安全的原因，不能把任务完全交给 AI 的场合
人们默认的期待
组合应该比任何一方单独都好；否则直接用更好的那一方
作者的说法 · p. 2294（中文转述）
论文的基准
人或 AI 在这项任务上各自的平均表现
不是
每道题都能挑中正确一方的“完美裁判”
责任价值选择程序要求
AI 单独分数最高，这些仍可能需要人参与
比的是测量到的任务表现 · 推不出“取消人的决定权”
不同任务，怎样放在一起比 pp. 2294–2295、2298–2300
纳入的硬条件：同一项实验里三种表现都要有
人单独
✓
AI 单独
✓
人机组合
✓
还要有足以计算效应量的数据
进不来的研究
只有人和 AI 一起才能完成的任务：任何一方单独都给不出可比的结果
准确率 %错误率质量评分直接相加 ✗
Hedges' g · 没有单位的标准化效应量 · Methods
g ≈ （组合的平均分 − 基准的平均分）÷ 分数的波动幅度
波动幅度用合并标准差；再乘一个小样本校正系数
g = 0.64 ≠ “提高了 64%”
三层模型：效应量嵌套在实验里
370 个效应量 ≠ 370 次独立检验
帮了人，却没胜过更强的一方 p. 2295 · 图 1
横线 = 95% 置信区间：整个区间都在 0 以下
平均：好于人单独，却没同时超过人单独和 AI 单独
−0.23 · 小效应0.64 · 中到大协同的门槛本来就更高
370 个效应量，各自的点估计
点估计为正 157 个约 42%
图 1 标注 · 点估计为正，不等于达到显著
42% 达到显著合作成功的概率
研究之间差异很大 · 协同 I² = 97.7%
只记一个平均数不够，要看差异出在哪里
决策和创作，不能只看一句摘要 pp. 2295–2297 · 图 2
创作只有 34 个效应量 · 约一成显著的是：两类之间的差异
✓ 创作比决策更容易得到有利的结果
✗ 创作已经证明能超过人和 AI 双方
作者的假设 · p. 2296
人：方向与灵感＋AI：大量常规的补充细节→作品
创作任务里，常有 AI 能做到和人一样好甚至更好的部分
多数决策实验的结构
人：完整答案＋AI：完整答案→人决定用谁的
这是解释：元分析没有随机安排研究采用哪种结构
作者的推测 · p. 2297
决策任务里，让 AI 只做它明显更擅长的部分，结果也许会更好
预先分工的实验
3 项实验4 个效应量g = 0.22 [−0.42, 0.87]不显著
一百多项实验里只有三项 · 证据还很少
谁原本更强，结果就不同 pp. 2295、2297
人和 AI，谁单独表现更好？
分组平均，不是选搭档的规则
纳入研究里的一个例子 · 同一套设计用在三种任务上（这里看两种） · p. 2297
■ 人单独■ AI 单独■ 人机组合
作者的推测 · p. 2297
人总体上比算法强时，也更善于判断：哪些情况该相信自己，哪些情况该更多依靠算法
研究没有直接测量这种判断
加了解释，就一定合作得更好吗？ pp. 2295、2297
界面设计一 · 解释
AI 建议：选 B
因为……
界面设计二 · 置信度
AI 建议：选 B
把握：82%
解释：未检出显著差别置信度：未检出参与者类型：未检出分工：未检出
作者建议：少放一些力气在这条方向上，多关注
两方各自的基础表现任务类型怎样分工
前两项：显著的组间差异 · 分工：值得继续研究，证据还很少
“没有检出” ≠ “没有用”
一个粗的类别：“有解释”
内容不同准确性不同长度不同出现时机不同
也不是收益的保证 → 要在真实任务里检验（编辑延伸）
从这批证据到今天，还隔着什么 pp. 2293、2297–2298、2300
许多系统不是今天的通用生成式模型
多数是决策任务九成五以上：人看了建议再作最终决定
研究课题的选择也可能有偏差（p. 2297）
发表偏倚，分开看 · p. 2300
协同（主要结果）
检验没有发现偏倚的证据
增强
检验提示可能有偏倚，没有校正
读 0.64 时，多留一分小心
很多实验只看
一个总体准确率
高风险场合 · 放射诊断、保释判断
少见的错误，代价可能极高
即使 AI 平均更准，人若能减少罕见而严重的错误，留在流程里仍可能值得
不是“别合作” → 找到有效的合作流程
怎样评价自己的 AI 流程 p. 2298 · 评估思路为编辑延伸
以下是延伸，不是论文里的方案
第一步 · 比表现
人单独 · AI 单独 · 人机组合：同样的材料、信息和评分尺度
第二步 · 记过程
初始判断 · AI 的建议 · 采纳还是推翻 · 最后结果
AI 对
AI 错
人对
两方都对
只有人对
人错
只有 AI 对
两方都错
每道题归进一格
第三步 · 找损失：分歧的两格是互补机会
最终选择用上这些机会了吗？→ 有助于定位损失在哪一步
第四步 · 比流程（开放创作未必能判对错）
先独立判断→再看 AI 建议→决定
对照
一开始就看到 AI 建议→决定
↓ 下面的“动手试试”：填四格，算组合
人 60组合 75AI 80
先说清：比谁更好？再追问：在哪一步变好、变差？
人和 AI 都参与了，还不足以说明互补已经实现
点播放开始，或者直接点下面的章节跳过去看
0:00

动手试试

跟着当前章节变化。点一点，看看条件一换，结果怎么变。

本章讲稿

点任意一句，从那里开始播放。