认知强制与适当依赖 · 论文精读

AI已经解释了,人为什么还是会跟着它犯错?

解释已经提供,人却仍可能跟随错误建议。比较按需显示、先独立判断与等待,理解认知强制的收益、代价和个体差异。

Buçinca, Malaya & Gajos · 2021PACM HCI · 5(CSCW1), Article 188 查看原文 ↗

一个系统推荐了答案,还附上解释。使用者读完觉得有道理,按下确认;事后发现答案错了,解释也没有帮助他看出错误。此时,问题可能不只是解释有没有提供,还包括它在什么时候出现,人有没有真正拿它与自己的判断比较。

这是编辑编写的常见交互情境。它区别于“人不知道系统在做什么”的问题:即使信息放在眼前,人也可能没有投入足够的判断。增加透明度与改善决策之间,还隔着一段需要研究的过程。

Zana Buçinca、Maja Barbara Malaya与Krzysztof Z. Gajos在2021年的《To Trust or to Think》中,比较了不同AI建议界面。他们没有只问用户喜欢哪一种,而是进一步检查:当建议错误时,哪一种安排更能帮助人避免跟着错。论文题录 ↗

一分钟读懂

  • 核心问题:解释可用,不代表解释被仔细处理;错误建议被采纳,也不能只用“用户太信任”概括。
  • 三种干预:主动请求后才显示建议、先独立作答再看建议、等待30秒再看建议。
  • 主要结果:认知强制安排在AI错误试次中减少过度依赖,但没有消除它;全部试次的总体表现也没有全面领先。
  • 代价与边界:一些更有效的安排更费力、更不受偏好。研究使用食材替换任务和模拟AI,并非真实医疗决策或今天的通用大模型评测。

01 · 透明之后,还有“有没有认真比较”

可解释AI的一种直觉是:把建议背后的理由提供给人,人就能更准确地判断是否采纳。理由确实可能有帮助,但这个推理含有一个未必自动成立的环节——用户需要对理由进行加工,而不是把“有理由”本身当作可靠的信号。

比如,看到一段完整解释后,人可能检验它与材料是否一致,也可能快速认出熟悉词语,觉得系统已经考虑周全。界面上出现了同样的文字,实际决策过程却很不一样。

论文以双加工理论作为解释框架:启发式加工依赖快速线索,分析式加工则投入更多比较与推理,常被分别称为系统1与系统2。作者担心,“有解释”可能被当成可靠性的线索,而不是被审查的理由。认知强制旨在促进分析式加工;这是一项理论解释,并非实验直接测得两套系统的切换,也不是说所有解释都会加剧依赖。§1–2,188:2–4 ↗

作者借用认知强制功能(cognitive forcing functions)的概念,讨论如何在决策发生时促使人进行分析。它与事前教育策略不同:教育增加对认知陷阱的认识;认知强制改变当下行动的安排。相关工作,188:4 ↗

这个区别在日常工作里并不陌生。知道自己可能过度依赖,并不保证每次快速处理任务时都能停下来比较。要求先给出自己的判断,则把某种检查嵌入了流程。但流程能够强制一个动作,不能直接强制一个人认真思考。

所以,本文并非赞美一切麻烦。它提出的是可检验的问题:在什么情况下,一点额外步骤会改善最终判断;改善多少,谁承担成本,又有哪些人没有同样获益?

02 · 食材替换任务,测的不只是认出一个东西

参与者面对一餐的食材信息,需要作出替换选择,同时考虑减少碳水化合物影响和保持口味相似。任务里既有识别问题食材的环节,也有选择合适替代物的环节。§3.1,188:5–6 ↗

这种分解很重要。一个人即使发现了AI识别错食材,也可能在替代物选择上表现一般;反过来,最终选择接近系统,不一定说明所有中间推理都相同。作者因此报告不同层次的客观表现,而不只给一个总分。

实验中的AI是研究者模拟的,识别最高碳水影响食材的正确率被设为75%。研究者没有为此训练一个真实模型,而是控制建议在何时正确、如何出错,使不同界面条件能够接受相近的考验。§3.3,188:7 ↗

75%的含义要说清楚:它针对特定识别步骤,不等于这套餐饮建议系统在现实中的综合准确率。实验所研究的是面对这些受控建议时人的决策行为,而非检验某个营养模型的临床有效性。

控制错误有明显优势。若一个界面碰巧面对更多困难题,另一个面对更多简单题,就难以判断差异来自界面还是题目。但模拟也带来外推限制:真实系统可能以不同方式出错,解释可能更长,使用者还可能与系统反复互动。

这也解释了为什么研究不能只问“你是否信任建议”。信任是人如何看待系统,任务表现则是某次选择的结果。二者可以有关,却不会逐题完全重合。研究者把错误安排在具体试次中,才有机会看出一个人是否在真正需要怀疑的时候进行了检查。

还有一种容易忽略的失败:用户虽然拒绝了AI,却也没有选到更好的答案。若只以拒绝次数评定自主性,就可能把无效反对当成成功。本文同时报告识别和整体表现的意义,是让独立判断与正确判断保持联系。

03 · 比较条件怎样把问题拆开

最终分析包含199名参与者。研究最初招募260人,其中49人按任务表现标准筛除,12人进入未报告的探索条件;不能直接把260写成全部进入主要结果的分析样本。§3.5,188:8–9 ↗

论文主要报告三大类、六个条件:无AI;简单可解释AI(SXAI),包括直接给解释和附加置信度信息两种;认知强制功能(CFF),包括按需显示、先判断再更新、等待三种。原始分配池另含三个未在本文报告的探索条件,不能把所有分配都说成只在六条件间进行。§3.2–3.5,188:6–9 ↗

研究结合了参与者之间与参与者自身的比较。每人经历两个不同条件,每个区块先做一道练习,再做12道正式题;每个区块有3道对应错误AI预测的题目。每人并没有体验全部六个条件,也不一定恰好各体验一种SXAI和CFF。

无AI基线回答一个容易被遗漏的问题:如果不给这条错误建议,人本来会怎样做?只有在相同任务上保留这个比较,我们才可能发现,工具不只是没有帮助,还可能把原本能做对的人带向错误。

简单解释条件则帮助区分“有解释”与“怎样接触解释”。若认知强制比没有任何信息更好,未必说明额外步骤有价值;与已经提供建议及解释的条件比较,才更接近作者想问的交互问题。

筛除也值得读者注意。它有助于排除没有达到任务要求的答题,但最终结论针对的是进入分析的人群。不能把对这批参与者成立的结果,无条件扩展到所有用户,更不能把被筛除的人当作某种固定能力群体。

04 · 三种强制,分别改变了什么

按需显示:建议默认隐藏。用户点击“查看AI建议”后,才看到建议与解释。作者假设,主动发起请求可能增加处理信息的投入。这里改变的是建议出现的时机与主动性,不只是多放一个按钮。§3.2,188:7 ↗

先判断再更新:参与者先在没有AI帮助时作出初始选择,然后看到建议与解释,可以修改。这个条件留下了一个可比较的起点。人面对分歧时,至少有机会问:为什么系统和我不一样,哪条依据应该改变?

等待:界面显示“AI正在处理图像”,30秒之后才出现建议与解释。这是实验安排,不是系统真实推理耗时。作者希望用户利用这段时间形成自己的判断,再检查后来的建议。

三者都在改变自动跟随建议的可能性,但路径并不相同。按需显示允许用户选择是否求助;先作答要求明确留下判断;等待只提供了时间,没有保证这段时间被用于思考。

因此,正式应用时不能把它们统一翻译为“增加摩擦”。同样是30秒,用户可能审查材料,也可能走神;同样是多一步,可能帮助形成比较,也可能只是令人重复确认。设计的名称无法替代行为证据。

这些区别还影响适用情境。在需要迅速反应的任务里,等待本身可能有代价;在低风险、重复性高的任务里,强制每次独立作答可能不合算。论文的比较给出了研究起点,没有提供一种适合所有场景的固定界面。

05 · 结果为什么必须分“全部试次”和“错误试次”

在全部任务实例的总体表现上,认知强制条件与简单可解释AI条件没有显著差异。若只读“减少过度依赖”的标题,很容易把它扩写成所有指标都更好;正文不支持这么强的判断。§4,188:10及表1 ↗

表1报告的是模型调整后的边际均值。全部试次中,整体答对比例为无AI 0.17、SXAI 0.35、CFF 0.33;碳水来源识别分别为0.42、0.56、0.57。两类AI辅助都优于无AI,但CFF与SXAI之间未见显著差异。这里的整体答对要求食材与最佳替代物都选对,不能与只选对碳水来源混为一谈。

只看AI预测错误的题目,整体答对比例从SXAI的0.03升至CFF的0.09(p=.003),碳水来源识别从0.08升至0.27(p<.0001)。相应无AI基线分别为0.18和0.49,仍显著高于两种辅助条件。改善确实发生了,但尚未恢复到没有错误建议干扰时的水平。表1–2,188:10–11 ↗

过度依赖也要按层次看:碳水来源识别中的错误跟随从0.64降到0.48(p=.003);整体选择中的过度依赖从0.30降到0.26,差异不显著。因此,“减少过度依赖”最明确的证据落在来源识别环节,不能写成所有选择指标都显著改善。表2,188:11 ↗

这两个结果并不冲突。总体指标混合了AI正确与错误的时候;某个设计在错误时特别有帮助,未必在所有时候都增加收益。它也可能让正确建议的利用变得更费时,或在其他环节没有额外改善。

“过度依赖”在本文有具体操作定义:当AI预测错误时,参与者仍作出与AI一致的选择。它不是使用频率高,也不等于口头说喜欢系统。一个人可以不太信任AI,却在某道题上跟着它错;也可以经常使用AI,同时准确拒绝错误建议。188:9 ↗

作者还明确写到,认知强制没有完全消除过度依赖。对于一些本来没有AI帮助反而能作出更好决定的实例,参与者仍会被错误建议带偏。这使结论更适合用于改进设计,而不是拿来宣布问题已经解决。

错误试次中的改善与总体没有额外优势并不矛盾:总体汇总还包含AI正确时的大量选择。评估设计既不能只展示最有利的错误子集,也不能用总平均遮住具体失败模式。

因此,一份完整评估至少应回答:AI正确时,人能否有效借力;AI错误时,人能否独立纠偏;两种情况下各花多少时间。若只展示最有利的错误子集,读者会高估总体优势;若只展示总体,又可能看不见对特定失败模式的改善。

06 · 为什么有效的设计,可能不那么受欢迎

论文观察到客观表现与主观使用体验之间的取舍:一些减少过度依赖更有效的条件,也让人感觉更困难、偏好更低或信任更低。讨论,188:16–17 ↗

这对产品评价提出了难题。如果只问“你喜欢这个界面吗”,最省力的安排可能得分最好;如果只问“你有没有避免错误”,又可能忽略频繁打断带来的疲劳。真正要选择设计,需要同时看收益和负担。

信任降低也未必是坏事。若一个系统有时出错,使用者变得更有条件地采纳,可能比无差别信任更合适。但这必须通过实际的正确采纳与错误拒绝来判断,不能仅凭信任量表变低就宣布校准成功。

作者的解释是,强制安排可能促使更多分析性加工。这个解释与设计目的及结果方向一致,却不等于论文已经完整观察到每个人的认知过程。多花时间不是思考质量的直接证明,感觉费力也不是判断正确的保证。

对实际设计者而言,这意味着需要明确错误成本。如果错一次后果严重,额外检查可能值得;如果任务风险很低,繁琐步骤可能造成更大的放弃成本。这样的权衡属于应用判断,需要在新情境重新取证。

07 · 同一种安排,为什么不同人获益不同

作者还测量了认知需求(Need for Cognition,NFC),用来描述人投入费力认知活动的倾向。它是本研究测得的个体差异变量,不是随机给参与者分配的一种能力训练,也不是智力等级。188:14–15 ↗

在AI预测错误的试次中,高NFC参与者在整体表现和碳水来源识别上都从认知强制中显著获益;低NFC参与者的来源识别显著改善,整体表现则未显著改善。把后者写成“没有任何收益”,会漏掉已经观察到的那一侧。

主观评价呈现另一面。表6中,高NFC者对CFF的信任由3.89降到3.56,偏好由3.75降到3.44,均显著;系统复杂度则由2.64升到2.95,显著增加。心理需求从2.50到2.70,差异不显著。低NFC组的这四项主观差异均不显著,这表示本样本未检测到差异,不能证明他们没有使用负担。表6,188:15 ↗

还应避免另一个统计跳跃:一组显著、另一组不显著,不自动等于两组效果之差显著。分组结果帮助定位哪些指标值得追问,但不能替代针对组间差异的正式检验。

为什么这对设计重要?一个新功能可能让本来更愿意投入思考的人获益更多,反而没有解决最需要帮助者的全部困难。平均收益会遮住这种分布,而统一增加步骤也可能把额外负担压到不同人身上。

作者借用公共卫生中的“干预产生的不平等”(intervention-generated inequalities,IGIs)讨论这一风险:改善总体表现的措施,可能因不同人获益不均而扩大差距。它是检视收益分布的概念,不是根据一次NFC问卷把用户划成固定群体。188:3、188:16–17 ↗

这并不意味着应按问卷分数给用户永久分类。更可行的编辑延伸,是观察他们在哪一个判断环节需要支持:识别资料、比较解释,还是选择行动。任务过程比一个固定标签更接近能够改变的设计条件。

NFC的讨论还能帮助我们重新理解公平性。给所有人相同界面,看起来是一视同仁;但如果使用这个界面需要额外比较、记忆和耐心,实际负担可能并不相同。设计是否公平,不能只数每个人有没有获得同一个按钮,还要看人们能否用它完成同样重要的判断。

这是一项从论文出发的编辑分析。它不要求系统先猜测用户属于哪一类,而是鼓励把支持做得可检查:解释中的关键依据是否容易找到,前后选择能否并排看见,用户能否知道自己为什么需要多做一步。最终是否改善不同人的表现,仍由新的比较决定。

08 · 与信任和交互指南放在一起读

第3篇Lee与See把信任放在适当依赖的问题中,提醒我们应关注能力与依赖是否匹配。本篇进一步提供一种行为检验:在系统错误时,用户能不能拒绝它;这个角度比单独追求更高信任更具体。相关精读 ↗

第25篇Amershi等提出,系统应让用户理解为何如此行动,并支持纠错。这些指南组织了设计者需要检查的方面。Buçinca等则提醒,解释入口存在与用户有效利用解释之间,仍需要行为证据。相关精读 ↗

两篇研究的证据类型不同。指南研究检查适用性与清晰度;实验研究在受控任务里比较表现。不能用一次实验否定解释的一切价值,也不能用一条指南代替有效性的检验。

第19篇元分析没有发现“是否提供解释”带来显著的总体调节作用,也可以与这里对读。粗略的有无分类,与具体解释怎样进入决策,是不同层次的问题。下一步研究可以把介入时机、内容质量和用户已有判断分别展开。相关精读 ↗

09 · 怎样设计一个不会只测满意度的后续研究

以下是编辑提出的应用方案。假设教师用AI辅助判断学生作业,可以比较直接显示建议、先独立判断再显示、主动请求才显示三种安排。保留相同作业材料及评价依据,记录人最初怎样判断、系统给了什么、人最后怎样修改。

首先要选定具体错误。若只让系统给出大体合理的回答,几乎无法检验用户能否拒绝误导。研究可以使用经独立核验的材料,在适当研究保护下安排可控错误,再看是否被发现;不能把未经验证的系统输出直接当正确答案。

其次同时记录结果与成本。最终准确性、错误采纳、正确建议被拒绝的次数、用时、返工与主观负担应分别报告。一个安排若让人少跟错,却也大量拒绝有用帮助,仍需要综合判断。

最后检查能否持续使用。一次实验里愿意等待的人,长期面对大量任务时未必接受同样流程。高风险判断可以要求更严格的核查,常规步骤则需要检验是否能够减少不必要打断。这是待研究的分层设计,不是本文已经证明的最佳方案。

这篇论文最值得留下的,不是“让AI慢一点”这个表面动作,而是把交互评价从信息展示推进到实际选择:建议到来之前,人已经知道什么;建议到来之后,人真正比较了什么;最终结果又有没有因此变好。

还可以观察干预是否把负担移动到了别处。一个界面要求先独立作答,可能减少直接跟随,却增加重新输入;如果允许清楚保留和修改原判断,额外成本又可能不同。两者都叫“先作答”,实际体验却不一样。设计名称相同不意味着实现条件相同,这也是复制研究必须保留操作细节的原因。

对于读者,最容易开始的一次自我观察,是回看最近一次接受AI建议的决定:当时自己已经有判断,还是建议先替自己定义了问题?后来看到的是支持答案的理由,还是足以检验答案的证据?这些问题不是诊断个人能力,而是帮助辨认流程中哪里值得增加一次真正的比较。

原文与版本

Buçinca, Z., Malaya, M. B., & Gajos, K. Z. (2021). To trust or to think: Cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction, 5(CSCW1), Article 188.

出版方题录与原文入口 ↗

本文采用21页正式版,PDF第n页对应188:n。核对定义、任务、模拟AI、主要比较、NFC分组和讨论;未重跑数据。文中的产品与教师应用为编辑延伸,未将食材实验写成医疗干预或通用LLM结论。

更新于2026-10-18 · v1.0 · 正式版。