设想一位教师使用AI检查课程材料。工具没有标出一条错误引用,她便以为没有问题;另一次,工具连续发出许多无效提醒,她索性关掉了提示。学校看到使用率下降,要求所有材料必须经过系统,同时维持原来的交稿时间。
这是本栏目编写的教学场景。其中至少有三个问题:教师怎样核查输出,提示是否值得响应,以及学校怎样安排工作。把它们统称为“老师不会用AI”,会把后两个问题藏起来。
1997年,Raja Parasuraman与Victor Riley在《Humans and Automation: Use, Misuse, Disuse, Abuse》中提出一个至今仍有辨识力的框架:分析自动化使用,需要同时看实际任务、人的判断、界面设计与管理安排。四个词不是四种使用者人格,也不是从落后走向成熟的四个阶段。
一分钟读懂
- 论文在问什么:人为什么在某些时候过度依赖自动化,在另一些时候放弃它,而设计和管理又怎样参与形成这些行为?
- 核心区分:use是中性的启用或退出;misuse是过度依赖;disuse是未充分利用;abuse则指设计者或管理者不恰当地引入、实施自动化。
- 关键证据:作者连接实验、模拟任务、事故材料与报警系统的数学分析。多任务下的监控失误和误报后的忽视,需要放在各自条件中解释。
- 读完可以:把“多用还是少用”改写成几个更具体的问题:交出了什么,怎样发现错误,检查花多少时间,谁有权改变分工?
- 阅读边界:这是一篇叙述性综述,没有一个代表全文的新实验样本,也不是元分析。文中旧研究按综述记载介绍;教学与生成式AI例子为本栏目延伸,不直接继承航空研究的效果值。
01 · 自动化之后,人还在做什么
论文发表时,Parasuraman任职于美国天主教大学,Riley任职于Honeywell技术中心。两人以人因研究为出发点,把航空、交通、制造和医疗等领域中分散的问题,组织成对自动化使用的整体讨论。作者信息,pp. 230、253 ↗
原文把自动化界定为:由机器执行原先由人完成的功能。这个定义带有历史性。某项功能一旦长期、稳定地交给机器,人们可能不再把它当成“自动化”,而只把它看作机器本来的功能。因此,要研究自动化,先要说清究竟是哪项功能发生了转移。p. 231 ↗
转移也不是非有即无。机器可以提供信息、提出建议、执行操作,或者在执行之后才通知使用者。原文讨论不同自动化水平,提醒读者:同样说“使用了自动化”,人保留的控制权和接触任务的机会可能很不一样。p. 232 ↗
对应到开头的教学设想,标出可疑引用、直接改写引用、替教师提交材料,是三种不同的安排。仅统计是否打开AI,无法描述这些差异。
论文的分析重心是个人任务表现,作者明确没有详细处理组织行为或更广的社会政治问题。但“个人任务”并不意味着只看个人心理:设计者决定能看到什么,管理者决定可以怎样用,这些条件会进入个人的每一次操作。pp. 231、233 ↗
02 · 四个词,分别把问题放在哪里
使用(use)指操作者主动启用或退出自动化。它首先描述选择,不保证选择正确。一次关闭可以是合理退出,也可能错过系统本来能够提供的帮助;一次开启也可能有利或不利。摘要及pp. 233–234 ↗
误用(misuse)在本篇有特定含义:过度依赖自动化,例如在不适用时仍然使用,或者没有进行必要的监控。它不是日常语言里一切“操作方式不对”的总称。p. 233 ↗
弃用(disuse)指忽视或未充分利用自动化。“弃用”是这里采用的简写,也包括仍在使用却没有充分利用的情况。判断它需要任务基准:系统能够提供什么帮助,继续使用又会产生什么代价。不能看到有人选择手动处理,就直接诊断为不信任或抗拒技术。
不当引入与实施(abuse)把视线转向设计者和管理者:将功能自动化、部署进工作流程时,没有充分考虑对人的表现、职责和控制权的影响。若只把它翻成“用户滥用”,就会读反这部分的责任指向。pp. 246–248 ↗
四类分析不是互斥的盒子。同一个人可以依赖一种功能、关闭另一种功能;不合理的组织安排也可能同时促成误用和弃用。作者特意说明,这些词不用于贬低任何一方,目的在于找到行为发生的条件。
03 · 相信工具,为什么还是不用
“越忙越需要自动化”听起来合理,原文却给出了更复杂的材料。Riley研究中的参与者同时完成跟踪与字符分类任务,其中一项可以自动化;提高跟踪任务难度,没有呈现预期的自动化使用变化。作者随后讨论了操纵强度可能不足、任务过于简单等解释。另一些飞行模拟和问卷材料又显示,工作负荷确实进入了飞行员的使用考虑。pp. 235–236 ↗
这些结果并不需要被压成“负荷没有影响”或“负荷决定使用”二选一。它们说明,自述理由、实验操纵、具体选择是不同证据,任务安排和个体差异会改变关系。
一个更贴近日常的概念是认知开销(cognitive overhead):为了决定是否使用、启动、设置和评估自动化,人需要额外投入多少精力。原文举的是纸张录入电脑。OCR也许识别得很好,但只有一页纸时,启动扫描、设置和改错的总成本,可能让直接打字更合算。p. 236 ↗
作者还介绍Kirlik的双任务研究:参与者没有按照设计者设想,在需要处理次要任务时启用自动驾驶来卸载主要任务。后续模型把手动能力、启动时间、次要任务被延误的代价纳入比较,发现某些条件下,不用自动化恰恰可能是更优策略。
这使“工具很好,为什么人不用”变成一个可研究的问题。好,可能只是在某项孤立指标上好;真实使用需要支付进入和退出的成本。
信任也在其中,但它要与人对自身能力的信心、风险、疲劳和对系统状态的了解共同作用。原文图1用实线表示得到实验数据支持的关系,用虚线表示假设关系或依赖具体系统的关系。整张图不能被当成已经一次性验证完成的因果模型。pp. 237–238、图1 ↗
04 · 误用:为什么“有人监督”还会漏掉问题
原文先讨论自动化偏差(automation bias)所涉及的决策错误:系统没有提示,就没有发现该处理的问题,这是遗漏错误;系统给出不适当指令,人仍跟着执行,则是执行错误。作者随后集中讨论监控失败,即没有及时发现自动化已经失效或工作异常。监控失败也可能表现为遗漏错误,这些分析角度并不互斥。pp. 239–240 ↗
关键材料来自作者综述的Parasuraman及同事的既有实验。参与者一边手动完成跟踪和燃料管理,一边监控自动化的发动机状态任务。自动化有时会漏掉发动机故障,参与者需要补上这项发现工作。研究比较了可靠性保持不变,与可靠性每十分钟在较低和较高水平之间变化的条件。pp. 240–241 ↗
在多任务情境里,可靠性变化组对自动化漏检的发现优于可靠性固定组。图2画出的,是参与者发现自动化失败的比例,不能误读成自动化系统自己的正确率。另一个实验去掉跟踪和燃料管理,只留下监控任务,参与者的失败发现率超过95%。
这个对照很重要。问题不能只归结为“人天生不擅长监督”或“使用者太懒”。同样要发现自动化的失败,是否同时承担其他任务,会明显改变表现。作者认为,注意资源的分配、对可靠性的期待以及监控投入,都需要进入解释。
界面也能改变结果。另一组既有研究比较分散的圆形仪表和整合显示。整合显示把正常状态组织成水平线,偏离便成为可辨认的形状变化。在手动任务的初始发现率已作匹配的条件下,自动化条件下用普通显示的参与者约发现三分之一的失败,整合显示约为其两倍。p. 242 ↗
这里的启发是减少发现异常所需的工作。仅把仪表移到中心位置、要求人认真一点,未必解决注意被其他任务占用的问题。原文也讨论了插入短时手动操作的研究:四十分钟自动化后,十分钟手动任务有助于后续监控。这是特定模拟任务的证据,不能直接改写成今天每个AI工作流都应采用的固定时间表。pp. 242–243 ↗
回到教学场景,“教师最后把关”必须落实为可执行的安排:需要看哪些来源,怎样快速定位异常,能留出多少检查时间。人的名字出现在流程末端,并不自动提供这些条件。
05 · 弃用:提醒为什么越响,越没人理
很多报警系统追求尽量不漏掉危险。这并不自动保证每次发出的警报都值得相信。原文借助信号检测与贝叶斯分析,区分了两个容易混淆的问题:真的有危险时,系统多大概率会报警;系统已经报警时,真的有危险的概率又是多少。pp. 244–245、图3 ↗
两者之间,还隔着危险在实际环境中有多常见,也就是基准率(base rate)。
原文给出的示例参数是:危险发生的概率为0.1%,有危险时的命中率为99.9%,没有危险时的误报率为5.94%。把它换算成一万次检测机会,更容易看到分母发生了什么。这是对原文参数的演算,不是一万个真实参与者的实验结果。
- 一万次中,预计约10次存在危险,系统能报出其中近10次。
- 余下约9990次没有危险,即便每次误报概率只有5.94%,仍会产生约593次误报。
- 所有报警加起来约603次,真正对应危险的约10次,占比仅约1.7%。
命中率很高,报警却大多不对应真实危险,两件事可以同时成立。于是,使用者不再迅速响应,不能只解释成态度差;他们可能是在响应过去大量无效警报提供的经验。p. 245 ↗
这也不是主张关闭报警。漏检一次的后果可能极其严重,误报引起的疲劳、绕过和停用也有累积成本。设计者必须把这两类代价都算进去,不能只把误报看成一次无关紧要的额外动作。pp. 244–246 ↗
作者甚至讨论,所有“假警报”未必同样有害:提示危险正在变得可能,与断言危险已经存在,可以服务于不同目的。分级的可能性提示提供了另一种设计思路,其效果仍依赖任务和使用者能否理解信号。
对于今天的AI检测、风险筛查或材料校验,这一段提出了直接的阅读问题:看到“检测很准”的介绍时,应该继续追问,它报告的是哪一种概率,在什么基准率下成立,以及错误警报由谁处理。
06 · 不当引入:决定已经写进了系统
abuse是这篇论文最容易在二手转述中丢失的部分。它关心的不是用户有没有恶意,而是人被安排到了怎样的位置。pp. 246–248 ↗
原文以飞机的轮载传感器说明一种设计取舍。系统需要确认起落架已经着地,才允许部署某些着陆减速装置,目的是防止空中误操作。但如果传感器失效,这种保护也可能在最需要减速时阻止操作者行动。减少一种操作错误,可能同时引入对另一种失效的脆弱性。p. 247 ↗
作者由此提出:把操作员移出某一步,并不等于把人的错误移出整个系统。设计者对环境、传感器和使用方式的判断,已经预先进入机器的行为。
管理决定同样可以进入系统。综述引述马里兰州一宗列车事故:在大雪条件下,操作员提出手动运行的请求却未获管理方批准,作者据调查材料将这一决定列为重要因素。这里不能仅问操作员愿不愿意接管,还要问他是否被允许改变运行方式。p. 247 ↗
事故材料展示的是可能的失效链,不是单一原因实验。作者早已在文章开头提醒,多数事故有多重原因,事后知道结果,也不总能直接判定当时的启用或停用选择明显错误。p. 233 ↗
应用到教学设想,可以问:如果学校要求教师签字负责,却不提供核查材料、不允许暂缓提交,也不承认复核需要时间,这份责任实际上依靠什么来履行?这需要调查制度与操作条件,不能仅从某位教师说“我信任AI”得到答案。
更危险的情况是循环:使用者因无效警报而绕过系统,管理者据此认为使用者不可靠,再施加更强的自动化控制;新的安排进一步削弱使用者的参与和判断条件,误用或弃用又可能出现。原文把这种循环明确连接到设计者、管理者和操作者之间不一致的期待。pp. 246、248–250 ↗
07 · 这些证据能支持多强的判断
这篇论文的价值,在于把不同证据放进同一张问题地图:实验让某些比较条件可控,任务模型检验何种选择可能更优,数学分析解释报警概率,事故材料展示真实工作中的后果。它们可以相互提问,但不能互相替代。
实验能帮助比较条件,机制仍需区分。 多任务下监控变差,与“信任过高”相容,也可能涉及注意竞争、检查成本和系统状态不易察觉。若只看到错误增多就宣布参与者更信任机器,会把需要测量的心理过程当成已经观察到的事实。
事故能提示问题,不能单独证明普遍效果。 一个传感器联锁的失效,不能证明联锁总体上应被取消。还需比较它减少了哪些风险、引入了哪些风险,以及是否存在更好的反馈和应急安排。
分类能组织诊断,不能省掉评价标准。 要认定过度依赖或利用不足,需要知道当前任务中哪些替代方案可行,成本、收益和错误后果如何。原文自己介绍“不用自动化可能更优”的模型,正是在防止把使用率当成适当性的替代指标。pp. 236、248–250 ↗
它的局限也清楚:没有系统综述式的检索和筛选报告,没有汇总效应值;材料以当时的航空及控制系统研究为重。生成式AI的开放输出、版本变化和核查标准,需要今天重新设计研究。可以继承的是提问方式,不能直接搬走的是效果大小。
08 · 怎样让“人负责”成为真实安排
原文最后把建议分回四类:帮助人理解自动化怎样工作,降低启停的认知开销;改善监控条件和状态反馈;把基准率与使用者后续反应纳入报警设计;依据人的职责与能力安排角色,而不把剩余任务一股脑交给人。pp. 248–250 ↗
它支持保持人的积极参与,同时承认这样的安排可能牺牲某些局部性能,以换取操作者对情境的了解和有效干预的机会。这是一项关于系统整体表现的设计主张,不是一条“人每次多点一下确认就更安全”的经验定律。
有意义的参与,需要动作能够改变结果。若一个确认按钮出现时,输出已经发给所有人;或者人没有材料判断对错,那么点击本身很难承担监控功能。反过来,自动化程度较高的功能,也可能通过明确状态、可见的异常和合理退出路径,给人提供更好的协作条件。
本栏目据此整理三个检查点:看得见什么,来不来得及判断,判断之后改不改得动。 三者缺一,责任就可能停留在口头上。它们是阅读练习,不是原文提供的成熟量表。
09 · 研究启发
第一,比较检查条件,而不只比较信任分数。 可在相同AI输出和错误比例下,改变教师并行任务的负担,以及来源是否便于核对。记录错误发现率、复核时间、实际采纳和信任评价。若改善来源展示有效而提高警惕的口头提示无效,就值得进一步研究检查成本的作用。
第二,区分报警性能与报警经验。 可让不同组接触不同基准率的材料,并控制工具在有问题和无问题材料上的表现。观察误报积累后,响应速度和核查策略怎样变化。研究还需保证参与者能获得真实反馈;否则,我们不能确定他们学到了错误分布,还是仅仅厌倦了重复提示。
第三,比较责任与权限是否匹配。 可设置模拟工作流:两组都要对最终材料负责,一组可以延迟、修改并查看出处,另一组受到更严格的流程限制。除结果质量外,记录请求接管、回退和求助的过程。这样才可能区分不知道该干预、知道却做不到,以及有能力但选择不干预。
这些设想都需要事先写出什么算更合适的使用,同时计入检查成本和错误代价。目标不是预先证明“多用AI更好”或“少用AI更稳”,而是发现哪些工作条件支持有依据的选择。
10 · 延伸阅读与练习
- 继续读原文的图:图1区分关系的证据层级,图2呈现多任务监控比较,图3解释基准率与报警可信度。先说清每个坐标轴和比较对象,再讨论设计含义。大学网站全文(PDF) ↗
- 想进一步拆开信任与行为:Lee与See(2004)讨论表现、过程、目的以及适当依赖。可用它细化本篇的信任因素,但不要把本篇全部问题收缩成信任问题。本栏目精读 ↗
- 想看具体互动怎样偏离预设流程:Suchman让我们沿着行动过程寻找误解和修复机会,可补充本篇较宏观的分类视角。本栏目精读 ↗
- 想追问劳动与问责如何被表述:Bearman等人的高教AI话语分析,可以帮助辨认制度文件里谁被要求适应、谁负责解释结果。本栏目精读 ↗
选一次真实任务,写下四句话:我把哪项功能交给了系统;我怎样知道它出了错;检查和退出各花多少代价;哪些选择是我能决定的。完成后,再判断用得太多、太少,还是工作安排需要先改变。
原文与版本
Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253.
本篇为独立中文精读,通读正文并核对三幅图,页码均为期刊印刷页码;PDF第1页对应第230页。原文引用的实验与事故按综述记载介绍,未逐项重核全部底层研究和调查报告;未编写参与者对白或心理活动。教学场景、数值换算、研究设计与检查练习为本栏目整理或延伸。
更新于2026-09-24 · v0.1。