一份报告的初稿很快生成了。接下来,你花时间检查数字、改掉不适合受众的表达,又删去一段看似完整却没有根据的解释。打字明显少了,判断似乎还在继续。另一次,面对一个自己不熟悉的问题,你读完流畅的回答就直接采用了。
这两个编辑设想都可以被描述为“AI节省了精力”,但它们对思考意味着什么,并不相同。减少机械整理、把判断交给系统、降低核查投入,可能留下相似的省力感。
Hao-Ping Lee与合作者在CHI 2025发表的研究,调查知识工作者怎样描述这些变化。它受到关注的一点,是对AI更有信心与较少的批判性思考相关。但论文还有另一条值得仔细读的线索:思考可能从生成材料转向核验、整合与把控任务。论文与作者全文入口 ↗
一分钟读懂
- 文献性质:在线问卷研究,结合统计模型与开放回答的质性分析;不是随机对照实验,也不是长期能力测验。
- 研究材料:319名每周至少在工作中使用一次生成式AI的知识工作者,提供936个具体使用实例。
- 核心区别:是否觉得自己进行了批判性思考、是否觉得这类活动更省力、最终判断是否更准确,是三个不同问题。
- 主要贡献:把思考放回具体任务,辨认核验信息、整合回答与把控任务的工作,也指出意识、动机和能力方面的障碍。
01 · 先看研究实际问了什么
这篇论文标题中的“自我报告”不能省略。研究者没有让所有参与者完成同一道题,也没有在使用AI之前和之后各测一次能力,而是请他们回忆真实工作中的使用经历。§3 Method ↗
研究通过Prolific招募参与者,要求其经常在工作中使用生成式AI。受访者需要提供不同类型的实例:创作、处理信息和寻求建议。这样的安排帮助收集多样任务,避免所有回答集中在同一种用途。
它带来的价值是接近工作经验:人处理了什么材料,遇到哪些问题,为什么决定检查或直接接受。代价是依赖回忆、表达和自我认识。那些不容易察觉的心理过程,未必会被准确说出。
936个实例也不等于936名独立参与者。同一个人可以提供多个例子,这些回答可能共享他的经验、习惯和表达方式。作者在回归模型中设置参与者层面的随机截距,处理这种重复测量关系;不能把实例数直接当成人数。
收集到回答之后,作者将两种分析并用:统计部分考察任务与个人因素同回答之间的关联,质性部分阅读开放回答、建立编码,再整理行动和障碍的主题。数字帮助定位某种关系是否在材料中稳定出现,具体叙述则解释人怎样描述过程。二者提供互补线索,却都来自同一批受访者,不能当作两套完全独立的验证。
质性部分先用一部分回答发展编码,再将编码应用到其余材料,并通过团队讨论调整理解。它不是从出现频率最高的几个词直接得出心理机制。精读时应保留从回答、编码到解释的层次,尤其不能把作者概括的主题当成每位受访者都明确说过的原话。
对于读者,这首先是一种证据定位:我们正在了解知识工作者怎样认识自己的思考实践,以及这些自述与哪些因素相关。它为进一步实验提出问题,但不直接交付一条“AI使人的智力下降”的因果结论。
02 · 批判性思考,在这里怎样被测量
“批判性思考”很容易被听成反对、挑错或保持怀疑。原文的操作范围更广:它采用Bloom的认知分类,涉及记忆知识、理解、应用、分析、综合与评价,并给受访者具体例子帮助理解题意。§2.1、§3.1.3,表2 ↗
例如,检查一封邮件的语气是否符合对象,检验生成代码是否正确,判断数据解释有没有偏差,都可能进入研究。这里既包含事实核查,也包含目标、适用性和质量标准的判断。
随后,问卷分开询问两件事。第一,这次任务中,你是否认为自己进行了批判性思考,并解释为什么。第二,与不使用AI相比,相关认知活动需要的努力是少得多、少一些、相近、多一些,还是多得多;不适用的活动可以另行标记。
因此,“省力”不是直接测得的脑力消耗,也不是工作质量的分数。一个熟练编辑可能用较少时间发现同样的问题;一个初学者也可能因为看不出问题而感觉省力。问卷分数相似,过程却不同。
这个操作化本身也可以讨论。Bloom分类帮助把一个抽象概念变成可回答的问题,但并不穷尽批判性思考的各种理论含义。若研究者换用论证质量、反例识别或证据权衡作为指标,得到的结果未必与自述努力完全一致。
03 · 三种信心,别合并成一个“信任AI”
对每个具体任务,研究分别询问:不用AI时对自己完成任务有多大信心,对AI完成该任务有多大信心,以及对自己评价AI输出有多大信心。另有总体的技术信任与工作反思倾向测量。§3.1.1–3.1.2 ↗
这几种评价可以不一致。一位教师可能不擅长从头写某种程序,却能根据教学目标判断界面是否合适;一名程序员可能相信系统补全常见函数,却不相信它理解项目的全部限制。对自己的生产能力和评价能力,也未必同样有信心。
原文的模型报告:对AI完成当前任务越有信心,越少自述在该任务中进行了批判性思考;对自己完成与评价任务更有信心,则与更多的思考自述相关。研究还发现,总体信任与这个“是否进行了思考”的指标没有显著关系,不能把任务层面的结果直接替换成一种稳定人格判断。§4.2,表4 ↗
这些是控制模型中其他变量之后的关联。它们可能涉及能力、任务难度、工作习惯或工具经验,也可能存在反向解释:容易的任务让人更相信AI,同时本来就不需要那么多检查。
尤其要区分自信与能力。自信的人可能确实更有经验,也可能高估自己。研究没有独立测试每一项实际专业能力,因此不能把结果改写成“专家一定更会监督AI”,更不能把提高自信直接当成已证实的干预。
读表时也要注意分母。全文的936个实例中,555个被受访者描述为进行了某种批判性思考;表4的具体模型使用的记录数则不同,二元结果模型列出930,六类努力模型也各有自己的样本量。不能把某个模型中的数量直接除以全文总数,也不能把不适用的活动当作“没有思考”。§3.3、表4 ↗
类似地,开放回答中某种主题出现了多少人,描述的是这批人谈到了什么,不是该主题在全部工作时间里发生的比例。一个人提到过核验,不意味着他的每次AI使用都进行了核验;没有提到,也不等于行为从未发生。
04 · 从寻找信息到核验信息
研究的第一类变化是:获取、组织信息所需的努力减少,但核验信息的工作更加显眼。受访者描述,AI能迅速提供整理过的材料;他们同时需要核对事实、来源和适用条件。§5.2.1 ↗
这不是说使用AI以前没有核验。变化在于,系统先交付了一份已经组织好的回答,使用者需要判断它有没有把事情说对。原来从多个来源逐渐形成解释的过程,可能变成面对一份解释,再寻找足够的证据。
二者要求不同。搜索时,来源选择与内容判断往往交织;面对完整答案时,人还需要发现哪些看起来合理的句子特别值得检查。若回答没有标出不确定之处,核验者必须自己建立检查顺序。
下面是编辑示例:AI给教师列出某项教学方法的三个好处。核验不只是在网上找到三个相似说法,还要确认这些好处来自什么研究、针对什么学生、使用了什么比较,以及是否存在相反结果。只有关键词相似,不能证明整段解释可靠。
所以,少花时间收集材料可能是有益的;核验是否充分则是另一个问题。研究让我们看见这份新负担,但没有独立评估受访者到底核对得有多准。自述“我查过来源”与完成一次有效核验之间,还隔着需要观察的过程。
05 · 从解决问题到整合回答
第二类变化发生在应用层面。AI可能提供一个可用的初步解法,但把它放进真实任务仍需要工作:调整表达,连接已有材料,检查上下文,处理彼此冲突的要求。§5.2.2 ↗
论文中的受访者谈到,生成代码需要与既有代码相容,生成宣传文字需要符合具体产品和受众。这里的整合不是在完成品上做一点装饰,而是判断这段输出在当前环境中是否成立。
一个编辑设想可以说明区别。两份课程活动单分别看都合理,合在一起却可能争夺同一段课堂时间;一份给初学者的解释单独看通顺,却可能使用尚未教过的概念。使用者需要知道任务的历史和限制,才能看出问题。
这也解释了为什么生成速度不能直接换算成工作效率。初稿可能十秒完成,后续整合却需要检查许多接口。如果系统没有足够上下文,生成越多,待审材料也可能越多。
原文报告的是受访者感知到的这些成本,没有在所有任务上计时。对某个人而言,整合仍然比从头完成更省力;对另一人而言,反复适配可能抵消收益。最有价值的后续测量,应把生成、核验、修改和返工的时间一起记录。
06 · 从亲自执行到把控任务
作者把第三类变化称为task stewardship。这里采用“把控任务”:人需要说明意图、设定质量标准、引导系统修订,并持续判断结果是否满足工作目的。§5.2.3、§6.2 ↗
“把控”不意味着执行已经消失,也不意味着人在使用AI之前从不监督自己的工作。它指出的是注意和努力的分布:当更多材料由系统生成,人的工作可能更集中在方向、约束、修订与验收。
这个角色需要内容知识。如果不知道一份合格分析应该回答什么,就难以判断系统遗漏了什么;如果不理解任务的关键步骤,也很难判断哪一次修改改变了结论。把任务交出去与能够有效管理任务,不是自动相随的能力。
原文选择这个词,也与责任有关:即使材料生产部分交给工具,人仍需对自己的工作负责。作者据此把监督、修正和方向判断放进任务本身,而不是把它们视为生成完成后可有可无的附加步骤。
对组织实践,问题会更具体。若一个人被要求审查大量自动生成的材料,却没有原始证据、时间或修改权限,他名义上在把控任务,实际条件可能不支持判断。这个推论需要研究工作安排,不能只测量他愿不愿意多检查。
把“会提问”扩大为“会定义任务、辨认错误、修正过程”,是这篇论文对AI培训的重要启发。但这些培训建议仍需评估,研究并未证明只教某种提示模板就能建立这些能力。
07 · 看见问题、愿意处理、能够处理
质性分析将阻碍批判性思考的情况组织为三个方面:意识、动机和能力。这比一句“使用者过度依赖”更接近可改变的工作条件。§4.3.2 ↗
意识方面,人可能觉得任务简单、结果次要,或认为系统过去一直表现不错,没有意识到这次需要额外判断。这里首先缺的是发现检查必要性的机会。
动机方面,人可能知道值得检查,却受到时间、产量或职责安排限制。原文的受访者提到工作配额与时间压力,也有人认为核查属于团队另一部分的工作。不能把这种组织分工简单归为个人态度。
能力方面,人可能想检查,却缺少领域知识;也可能已经发现问题,但不知道如何修改,或无法让系统按要求修正。警惕可以启动行动,不能替代判断所需的资源。
这三类障碍可能同时出现。一个初学者既看不出错误,也不知道该找谁;一个熟练工作者可能完全懂得风险,却没有时间核查。把同一句“请谨慎使用AI”发给两人,未必解决他们各自遇到的问题。
对应的编辑建议也应分开:让风险与适用条件更容易被察觉,给核查安排真实时间,提供来源与专业支持。若要判断建议有效,需要观察错误发现、修订质量与任务成本,而不只是提醒之后的态度分数。
08 · 这篇论文为什么不能证明“AI让人变笨”
首先,研究没有取得使用前后的独立能力变化。一个人觉得工作更省力,可能因为工具有效支持了同样的判断,也可能因为自己减少了判断。问卷本身不能把两者全部分开。
作者在局限部分也指出,参与者有时把一般工作努力减少,与批判性思考努力减少混在一起。即使研究开始时给了定义和例子,人对自己心理过程的报告仍然可能不准确。§6.3 ↗
其次,样本是经常使用生成式AI、能够用英语参与调查的人群,且偏向较年轻、技术较熟练的使用者。它并不代表全部职业人口,也没有直接覆盖不使用AI的人、非英语使用过程或所有组织环境。
再次,936个实例是被回忆和描述出来的任务,不是随机抽取的936次工作。某些顺利、印象深刻或方便叙述的经历可能更容易被报告。研究提供了工作实践的线索,不能把其中的主题频次直接当成社会普遍发生率。
最后,长期能力退化属于需要进一步研究的风险解释。论文可以依据相关文献提出担忧,但本次调查没有直接证实这个后果。认真对待风险与保留证据边界可以同时做到:先问哪些思考活动少了,再问是否少了练习机会,最后才检验能力是否随时间变化。
这也影响怎样阅读论文提出的设计建议。让系统提示可能的偏差、鼓励反思、支持来源核对,都是值得检验的方向,但本次问卷没有随机比较这些功能。建议与发现之间有推导关系,不能把“作者建议增加某功能”写成“作者证明该功能有效”。
更微妙的是,增加核查步骤也可能增加负担。若提示在每一次简单任务中都出现,使用者可能忽略它;若把所有检查都交给另一个AI,也可能只得到重复的错误。因此,下一步设计需要明确提示出现在何时、针对哪种不确定性,以及如何判断人真的作出了不同选择。
09 · 研究与培训怎样往前走一步
观察一次完整任务。 在征得同意和保护工作信息的前提下,记录提示、来源回查、修改与最终输出,再请参与者回看并解释。把行为与叙述对应起来,有助于辨认他们说的“检查”究竟是什么。
把努力、质量与信心同时测量。 可在相同材料下比较不同支持方式,保留独立任务基线,测量错误发现与最终质量,并记录自述努力。这样才能区分高效判断、额外负担和检查不足,而不是默认努力越多越好。
直接改变核查条件。 例如保持AI输出一致,一组得到可定位的原始证据与修改时间,另一组使用通常界面。观察核查质量和总成本。这个设计研究的是条件是否支持行动,比只告诉人“保持批判性”更容易定位原因。
这些属于编辑提出的研究方向。若用于培训,可以先围绕一项真实任务练习:请学习者指出一次核验、一次情境整合和一次方向修正,说明依据。三类活动是观察入口,不是评定专业水平的固定等级。
10 · 延伸阅读
- 信任怎样转化为实际依赖:Lee与See的适当依赖框架帮助区分态度与行动。本篇第一作者Lee与那篇作者不是同一人。第3篇精读 ↗
- 专业人士怎样重新理解问题:Schön的反思实践视角可以补充对目标、情境和判断的观察。第5篇精读 ↗
- 什么证据能测得独立表现变化:高中数学实验提供了与自述调查不同的比较设计。第17篇精读 ↗
评估一次AI使用,既可以问它少花了多少时间,也可以看看剩下的工作:哪些依据被核对了,哪些情境被补进来了,谁决定最后的答案已经足够好。这些动作,才让“仍然在思考”成为可以讨论的实践。
原文与版本
Lee, H.-P., Sarkar, A., Tankelevitch, L., Drosos, I., Rintel, S., Banks, R., & Wilson, N. (2025). The impact of generative AI on critical thinking: Self-reported reductions in cognitive effort and confidence effects from a survey of knowledge workers. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems, Article 1121, 1–22.
本文依据作者公开稿核读方法、结果、讨论和问卷框架,采用章节与表号定位。作者稿共23个PDF页,与正式题录的22页不同,不混用页码。原文受访者材料均以概述呈现,开篇与教学示例为编辑设想;未复做回归,也未独立验证受访者工作结果。
更新于2026-10-10 · v1.0。