假设一项任务中，人单独做能得60分，AI单独做能得80分，人使用AI后得了75分。有人说，AI有效提高了人的表现；也有人说，这种组合没有发挥出最好的能力。两种判断都可以成立，因为比较对象不同。
这组数字是编辑为解释概念编写的示例。它指出一个常被跳过的问题：当我们说“人机合作更好”，究竟是比人单独做更好，还是比人和AI中原本更强的一方还好？
Michelle Vaccaro、Abdullah Almaatouq与Thomas Malone在2024年发表于《Nature Human Behaviour》的系统综述与元分析，把这个区别放在研究中心。作者来自麻省理工学院相关研究团队，他们汇总已有实验，考察人机组合的效果，以及不同任务中为什么会出现不同结果。正式论文 ↗
一分钟读懂
- 证据范围：74篇论文中的106项实验、370个效应量；检索覆盖2020年1月至2023年6月发表的研究。
- 两个标准：增强比较“人机组合与人单独”；协同比较“人机组合与人、AI中表现更好的一方”。
- 总体结果：平均而言，组合优于人单独，却低于双方中更强的一方。两项结果没有矛盾。
- 阅读边界：不同任务的结果差异很大；这不是对今天全部大模型的性能测试，也不能据总体平均值决定每一种实际工作该如何分工。
01 · 增强与协同，差在一个比较基准
原文把human augmentation称为人的增强：使用AI后，人完成任务的表现超过独立完成时。这个问题很有实际价值。例如，在需要由人作出决定的工作中，工具能否改善人的判断，就是一个合理目标。p. 2294 ↗
human–AI synergy则采用更高标准：组合需要超过人单独和AI单独的表现，也就是超过二者中较好的那个基准。它检验双方结合是否产生了超出原有最强能力的收益。
回到开头的示例，75高于60，所以存在增强；75低于80，所以没有达到协同。若不报告AI单独的成绩，只展示60到75，读者就无法判断组合是否仍然损失了可实现的表现。
这个基准取的是某项任务上，人或AI各自的平均表现，不是一个预知每道题答案、每次都能挑中正确一方的“完美裁判”。否则，比较标准会被误解成现实中无法使用的逐题神谕。
两个标准也不决定全部价值。即使AI单独在某项分数上最好，责任、价值选择、解释、参与和程序要求仍可能使人必须参与。研究首先问的是已测量的任务表现，不能把一个性能比较直接变成“应当取消人类决定权”。
02 · 106项实验是怎样进入这篇论文的
研究按预注册方案开展系统检索，使用ACM Digital Library、Web of Science与AIS电子文库，并补充前向、后向引文追踪。纳入研究必须同时报告人单独、AI单独和人机组合三种表现，并提供足以计算效应量的信息。Methods，pp. 2298–2300 ↗
这个要求解释了为什么不是所有“使用AI有效”的实验都能进入分析。若一篇论文只比较有AI与没有AI的人，没有报告AI独立表现，就能回答增强问题，却无法完成本研究要求的协同比较。
最初检索得到5126篇记录，最终纳入74篇论文，包含106项独立实验。同一实验可能有不同处理条件或不同表现指标，因此产生370个效应量。论文数、实验数和效应量数是三个层级，不能互换。pp. 2294–2295 ↗
研究者提取平均值、标准差、样本量；有些数值来自公开数据，有些通过置信区间等信息换算，必要时联系作者或从图中提取。数据整理本身就是这类研究的重要工作，不能理解成只把摘要里的结论相加。
筛选标准同时塑造了结论边界。有些任务只有人机合作才能完成，人或AI单独都无法给出可比输出，这类研究可能无法进入本分析。因此，这篇论文适合评估可作三方比较的任务，不覆盖全部可能的人机关系。
03 · 怎样把不同任务放在一起比较
识别图像、判断信息、完成创作，可能使用准确率、错误率或质量评分。直接把这些分数相加没有意义。作者采用Hedges’ g，把组间平均表现差异转成经过校正的标准化效应量。Methods：Calculation of effect size ↗
可以把它理解为一种统一比较尺度：先明确某项任务的表现差距，再参考该研究中的变异程度进行标准化。正值与负值指向相对于所选基准的收益或损失。它不是百分比，不能把g＝0.64说成“提高64%”。
同一实验产生的几个效应量往往相关，例如多个处理组共享一个对照组。作者使用三层元分析模型，将效应量嵌套在实验之内，并采用稳健方差估计等方法处理依赖关系。因此，370并不意味着370次完全独立的检验。
随机效应模型还承认，不同研究可能具有不同的真实效果，而不只是围绕同一个固定值发生抽样波动。这很适合人机协作：参与者经验、工具能力、任务要求和界面设计都在变化。
不过，统一尺度不能消除所有差异。某项准确率基于很多道题，另一项质量评分可能依赖较少作品；评价误差和样本背景仍然不同。元分析提供的是有结构的综合，不能把复杂材料压成一个对所有任务通用的数字。
还有一个统计与实践的区别：标准化后同样大小的差异，在不同任务中未必具有同样后果。识别一张普通图片的错误，与遗漏一个必须处理的风险，代价可能差得很远。综合研究为了可比较而使用统一尺度；实际部署仍需要把效果换回当前任务的单位和错误成本。
例如，一个流程只提高少量平均准确率，却大幅减少特别严重的错误，可能值得采用；另一个流程平均分提高，却把某类错误集中到少数人身上，就需要进一步检查。这是基于测量逻辑的编辑分析，不是本元分析已测出的群体结果。它提醒我们，标准化是比较工具，不是价值判断的替代品。
04 · 总体结果：帮助了人，却没有达到协同
相对于双方中表现更好的一方，人机组合的总体效应为g＝−0.23，95%置信区间为−0.39至−0.07。平均差异为负，且区间没有跨过零。pp. 2294–2295，图1 ↗
相对于人单独完成，人机组合的总体效应为g＝0.64，95%置信区间为0.53至0.74。它说明，在所纳入的研究中，AI总体上帮助人提高了表现。
图1把同一批比较放在两个面板里：一个面板采用较强一方作基准，另一个采用人作基准。读图时先看横轴的零点意味着什么，再看点与区间落在哪里。每一条横线对应效应估计的不确定性，底部总体结果也不是对所有点的简单多数投票。
图中统计还表明，有的效应量为正，有的为负。因此，“平均没有协同”不等于每个实验都失败，更不等于人机合作在原理上不可能。它说明常见的合作设计，没有自动实现人们期待的互补优势。
这对产品评价提出一个具体要求：宣传“让员工表现更好”时，可以用人的基线；宣传“人机结合超过双方独立能力”时，就需要加入AI独立基线。评价问题越强，所需的比较也越完整。
05 · 决策与创作，为什么不能只看一句摘要
作者把任务区分为从有限选项中作选择的决策任务，以及产生开放内容的创作任务。决策任务的协同总体效应为负；创作任务的估计更有利，两类之间存在显著差异。pp. 2295–2296，图2 ↗
但还有一个关键限定：创作任务的协同效应估计约为g＝0.19，95%置信区间为−0.09至0.48，本身没有达到统计显著。它在这批研究中只有34个效应量，证据规模相对有限。
所以，“创作比决策更容易获得有利结果”与“已经证实创作必然超过人和AI双方”是两种强度完全不同的说法。前者有组间比较支持，后者超出了这里的结果。
作者提出一种解释：创作允许把任务拆成不同部分，例如人提供方向与情境，系统补充内容；很多决策实验则让人和AI各自给出完整答案，再由人决定采纳谁。前者可能更容易利用不同能力。但这是对结果的机制解释，元分析没有随机分配所有研究去采用这两种合作结构。
可以把这里的合作方式想成两种流程：一种在完整答案之间作选择，另一种分阶段生成、筛选和修订。流程的区别帮助我们理解作者提出的假设，但还不能据此断定前一种必然失败、后一种必然成功。
即使同样被称为创作，任务内部也可能包含决策：选择哪些事实、判断哪个论据能成立、决定某张图是否误导。反过来，一项决策也可能依靠先生成备选方案。论文的任务分类服务于综合比较，不应变成给整个职业贴标签的办法。
所以，不能因为自己从事写作就认定属于“更容易协同”的全部条件。更有用的是沿着流程看：哪一部分需要开放生成，哪一部分需要准确判断，哪一部分要求对现实情境负责。这个拆分还能帮助设计后续实验，把可能互补的子任务与必须谨慎核验的子任务分别评价。
06 · 当AI更强，为什么组合反而损失更多
另一项显著差异与人和AI的相对能力有关。当人单独的表现优于AI时，组合平均更容易出现协同；当AI单独优于人时，组合相对AI则出现明显损失。pp. 2295–2297 ↗
这同样没有否定增强。一个很强的AI可能把人的表现拉高，同时人的某些覆盖或选择又使组合低于AI本身。人获益与系统未达到最佳表现，可以发生在同一次互动里。
作者提出，当人对任务更熟悉时，也许更能辨认什么时候该相信自己、什么时候该听系统。这是一种有解释力的假设，但相关分组本身没有独立测量全部判断机制。
更细的关键是错误分布。两方平均成绩相近，不意味着错在相同题目；一方总体更强，也不意味着每一题都更强。协作需要识别各自何时出错，还需要一个能利用这种差异的过程。只有互补能力存在、却无法被正确调用，组合仍可能失败。
因此，培训不能只追求“增加对AI的信任”或“鼓励坚持自己的意见”。适当的目标应是提高识别适用条件与错误的能力，同时使这些条件可见。究竟哪一种训练有用，需要直接评估依赖选择与最终结果。
07 · 解释与置信度没有显著作用，是否就不用做了
研究没有发现，是否提供AI解释、是否提供置信度等编码变量，对协同或增强存在显著的总体调节作用。作者据此建议，把更多研究注意力放到任务类型、相对能力和分工上。pp. 2296–2297 ↗
这个结果值得认真对待，但不等于所有解释都没有用。被归入“有解释”的实现，可能在内容、准确性、长度和使用时机上很不相同。一个粗粒度类别未检出显著差异，并不能回答哪一种具体解释帮助了哪一种使用者。
同样，显示置信度只是把数字放到了界面上。数字是否校准、用户是否理解、在关键分歧时能否正确使用，都是进一步的问题。若只记录界面有没有这个元素，很难描述整条作用过程。
还要区分调节分析与实验因果。不同研究是否提供解释，可能同时伴随不同任务和模型。跨研究的关联检验有助于寻找规律，但不是在所有条件相同的情况下只改变解释这一项。
对设计者最实际的启发，是避免把一个流行功能当作收益保证。解释、置信度和人工确认，都需要在真实任务中证明它们帮助人作出了更好的选择，而不是只提高了主观信任或界面的完整感。
研究方法还有一个值得注意的取舍：作者对多个潜在调节因素分别进行元回归。这样可以寻找哪些研究特征与效果相关，却不意味着每一项都独立于其他特征。创作任务、系统类型和发表年份之间可能同时存在关系，解释结果时需要保留这种交织。Methods：Meta-analytic model ↗
如果未来要确认某种分工的作用，更直接的设计是在同一任务、同一模型和相近参与者中改变分工，同时保留人和AI的独立基线。元分析负责指出值得追问的差异，后续实验再有针对性地排除替代解释。两种方法的力量不同，不能互相替代。
08 · 从这批证据走到今天，还隔着什么
检索截止到2023年6月。许多纳入系统并不是今天的通用生成式模型，许多实验也不是长期的人机共同工作。把2024年发表的元分析误读成“总结了2024年所有大模型”，会错置证据时间。p. 2293及Methods ↗
任务结构还有明显集中。作者指出，绝大多数研究由人接收AI输入后作最终决定；预先把不同子任务分给人和AI的设计很少。稀少设计的结果不够精确，因此我们对不同合作方式的认识并不均衡。
原文报告了很高的异质性。这说明研究间效果存在大量差异，不能只背总体平均值。真正准备部署某个系统时，还要问自己的任务、人员和反馈条件与哪些纳入研究接近。
发表偏倚检验没有发现明确证据，也不表示偏倚已经被彻底排除。检索语言、发表时间、数据是否足够完整，以及哪些失败没有公开，都可能影响证据集合。Limitations及Bias tests ↗
此外，单次任务表现与长期能力、成本、公平和问责不是同一结果。组合即使分数较高，也可能耗费更多时间；分数相近，也可能提供重要的参与和纠错机会。后续评价需要把这些目标明确列出，不能假定一个标准化效应量已经替所有人作出价值判断。
09 · 怎样评价自己的AI工作流程
下面是本栏目据此提出的评估思路。先选一个足够具体的任务，写清什么算好的结果，再尽可能取得人独立、AI独立和人机组合的可比表现。任务材料、可用信息和评分尺度应该一致，避免给其中一方额外优势。
随后，别只记录最终分数。保留初始判断、系统建议、采纳或覆盖的动作，以及修改后结果。这样可以找到损失发生的位置：系统最初就错了，人覆盖了正确建议，还是两方都没有得到关键材料。
如果任务本来不能由某一方独立完成，应直接说明，而不是勉强制造一个失真的基线。此时可以比较不同协作流程，例如先独立判断再看建议，与一开始就看到建议；或把生成与评估分开，与全部放在同一次对话中。
研究还需要预先决定如何计入时间、返工和质量。以盲评方式评价输出，并保留足够数量与难度范围的任务，才有机会区分偶然的好案例与稳定收益。对学习任务，还应增加无辅助测试。
这些是从元分析提炼的编辑方案，尚不是一套已经验证的通用评分工具。它的核心要求很简单：先说清“比谁更好”，再追踪“在哪一步变好或变差”。
还可以把错误拆成四种情况：两方都对、两方都错、只有人对、只有AI对。前两类很难仅靠选择谁来解决；后两类才显示依赖选择可能创造的空间。若最终组合反而降低表现，就可以追查人在这些分歧中如何判断，以及界面提供了什么线索。
这四种情况是本文为研究实践整理的分析入口，不是论文直接提供的新量表。实际分类需要可靠的正确性标准，开放创作任务也未必能简单判为对错。不过，它能帮助团队停止只争论“谁总体更聪明”，转而研究何时应该交接、如何识别例外。
最后，评价应保留版本与条件。模型更新、提示改变、材料难度或参与者培训变化，都可能改变组合效果。一次成功演示可以帮助发现可能性，但只有明确比较条件、重复检验并记录失败，才有依据说一套工作方式稳定有效。
10 · 延伸阅读
- 从研究议程走向效果评价：Seeber等讨论机器作为队友需要研究哪些团队条件，可与本篇的三方比较互补。第9篇精读 ↗
- 理解过度与不足依赖：Parasuraman与Riley提供了分析使用行为与设计责任的词汇。第14篇精读 ↗
- 把单个任务放回组织：Raisch与Krakowski讨论自动化和增强怎样在时间与流程之间相互影响。第20篇精读 ↗
人和AI都参与了，并不足以证明互补已经实现。把比较基准、分工和错误处理过程摆出来，我们才知道这份合作究竟增加了什么。
原文与版本
Vaccaro, M., Almaatouq, A., & Malone, T. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8, 2293–2303.
出版方全文 ↗ · 期刊版PDF ↗ · 作者存档版及补充材料 ↗
本文核读期刊版正文、方法和图1–2，引用采用期刊页码；同时对照作者存档版的方法与补充材料结构。没有逐篇重核74篇纳入论文，也未复跑元分析。开头分数及工作流程方案为编辑示例，不是纳入实验的原始数据。
更新于2026-10-10 · v1.0。