信任与适当依赖 · 文献精读

AI 值得信任,就该把任务交给它吗?

信任为什么不一定变成使用?从校准、信任依据与反馈循环,理解我们怎样把具体任务交给自动化。

Lee · See · 2004Human Factors · 46(1):50–80 查看原文 ↗

设想一位教师准备使用自动化工具整理课程反馈。他认为它通常能把意见分好类,也打算用它;但离教研会议只剩十分钟,导入文件、调整设置和检查输出都需要时间,最后还是自己处理了。

另一次,他对工具并不十分放心,却因为待处理材料太多、对自己的判断也缺乏把握,决定先借助它完成一部分工作。

这是本栏目编写的两个设想。它们提出同一个问题:如果只看“用了”或“没用”,我们能知道一个人有多信任技术吗?

John D. Lee 与 Katrina A. See 在 2004 年的《Trust in Automation: Designing for Appropriate Reliance》中,把这条看似直接的关系拆开了。信任影响依赖,但时间、工作负担、自信和系统条件也会改变最后的行动。信任与行为,pp. 53–54;动态模型,pp. 67–70 ↗

一分钟读懂

  • 读者用途:区分“我怎么看待系统”与“我把哪些工作交给它”,再检查判断依据、使用条件和反馈。
  • 文献性质:一篇整合多领域信任研究与自动化研究的综述,提出概念模型及设计、评价和培训建议,并非一项新实验。
  • 核心主张:目标是让信任与具体能力相称;需要同时考虑信任的校准、分辨能力,以及对功能和时间变化的针对性。
  • 阅读边界:原文讨论自动化,涉及航空、工业控制、导航与信息系统等情境。文中的生成式 AI 教学例子是本栏目延伸,不能视作 2004 年的研究发现。

01 · 作者在解决什么问题

论文发表于《Human Factors》46 卷 1 期,页码 50–80。首页署名显示两位作者当时均在美国爱荷华大学,通讯信息列出机械与工业工程系。文章从人因研究的问题出发:系统有能力,并不保证人与系统配合得好。首页,p. 50 ↗

作者关注两种可能造成损失的依赖方式。一种是在不合适的时候依赖自动化,另一种是拒绝了本来可以发挥作用的能力。他们沿用 misuse 和 disuse 来讨论这些问题。这里的“不采用”只有在错失了适当使用的机会时才构成问题,不是任何人工处理或拒绝使用都算失败。导论,pp. 50–51 ↗

这篇文章没有统一招募一批参与者来做新实验,而是整合组织、人际、心理等领域的信任研究,再考察其中哪些观点能够解释人与自动化的关系。它提供的是整理证据、提出问题和指导设计的概念框架,不能为整篇综述编造一个总样本量或统一效应值。

为什么要谈信任?因为面对复杂系统和未预料到的情况,人常常无法把系统完整算清楚,再决定每一步怎样做。作者将信任界定为一种态度:在存在不确定性与脆弱性的处境中,预期某个行动者会帮助自己实现目标。这里的“脆弱性”,指依靠对方时可能承受不利结果,并非人格脆弱。定义与背景,pp. 51–54 ↗

02 · 信任如何走到行动

原文借用“信念—态度—意向—行为”的区分:关于系统的信息与经验影响我们相信什么,这些信念形成信任态度;态度参与形成依赖意愿,意愿再在实际条件下转化为行动。概念区分,pp. 53–54 ↗

这一连串关系中,每一步都有其他条件介入。你相信系统能胜任,却可能来不及配置它;你打算依赖它,却可能发现接入成本超过这次任务的收益。作者也提醒,对自己能力的信心会与对系统的信任一起影响分工。当人对自己更有把握时,可能倾向手动处理;当自信较低时,对自动化的依赖意愿可能提高。动态模型与情境,pp. 67–71 ↗

开头的教师场景因此不能只解释成“他信任不足”。我们至少还要知道,他在完成什么目标、有什么替代办法、投入和核查的成本多高。这些场景是本栏目对框架的应用,不是原文调查过的教师案例。

对研究也是一样:使用频率能够描述行为的一部分,却不能单独替代信任测量;一次拒绝、一次采纳,也不足以说明完整立场。反过来,一个人说自己信任,并不保证他在每种情境里都会把工作交出去。

03 · 校准,不是取中间值

作者用三个角度描述信任是否与系统能力相称:校准、分辨能力与针对性。它们帮助我们从一个笼统的高低分,转向更具体的判断。适当信任,pp. 55–56 ↗

校准(calibration)问的是:信任与能力是否匹配。 对能力有限的系统抱有过高期待,和对能够胜任的系统始终估计过低,都是不匹配。因此,校准不是把信任调到中间,更不是让人人给出同一个“适度分数”。原文图 2 的对角线是概念示意,不是一套可以把信任分数与正确率直接相减的现成测量公式。

分辨能力(resolution)问的是:能力差异能否反映在信任判断中。 如果系统表现发生很大变化,一个人的评价却几乎不变,他的判断就没有很好地区分这些差异。仅仅听到“我对它一直很放心”,还不知道这份稳定是有依据,还是没有注意到变化。

针对性(specificity)问的是:信任指向哪项功能、哪个时刻。 原文区分功能针对性与时间针对性。前者让人区分系统不同功能的能力,后者关注能力随情境或时间变化时,信任能否跟着调整。

举一个本栏目设想:一个工具在整理给定文本时表现不错,并不因此取得替材料补充事实的资格;旧版本的使用经验,也需要在版本、输入或任务条件改变后重新判断。这不是要求每次从零开始,而是弄清哪些经验仍然相关。

这里也需要保留一个用词差异:Lee 与 See 在图 2 中用 distrust 描述信任低于系统能力的情形;Lyu 等人(2025)则用另一组题测量不信任,讨论它与信任的并存。两篇的操作含义不同,不能因为用了同一个英文词,就把两套图表直接叠在一起。Lee 与 See,p. 55 ↗Lyu 等,表 2 与 §4.2,pp. 4–7 ↗

04 · 信任根据什么建立

原文把信任依据概括为三类:表现、过程与目的。这三类对应不同的信息,不能混同于三个必须依次经过的成熟阶段。信任依据,pp. 58–61;发展顺序,pp. 66–67 ↗

  • 表现(performance):系统做得怎样,包括当前和历史上的可靠性、可预测性,以及能否完成相关目标。
  • 过程(process):系统怎样运行,其算法和操作方式是否适合当前处境,能否帮助实现目标。
  • 目的(purpose):系统为何被设计、预期用于什么范围,以及当前使用是否符合这项设计意图。

三者之间可以相互推断,但推断需要接受检验。几次表现好,可能让人认为内部机制可靠;一个清楚的设计说明,也可能让人在尚无使用经验时形成期待。作者因此反对把它们规定成“先表现、再过程、最后目的”的固定阶梯。pp. 61、66–67 ↗

放到生成式 AI 场景,可以分别问:它在相似任务中有哪些可核对的表现?我获得的过程信息能帮助判断什么?我正在把它用于什么目标?这是本栏目的转用。界面上的解释文字能否真实反映内部机制,需要另行证据,不能仅因读起来连贯,就当成已经看见了完整运行过程。

“目的”也不是说机器具有善意。原文专门讨论了人际信任迁移到自动化的限制:自动化没有人际关系中的对称交换,其设计目的也不等于机器自己的意图。人与自动化的差异,pp. 65–67 ↗

05 · 为什么用得久也可能看不准

图 4 把信任画在一个反馈循环里:信息与经验影响信任,信任参与形成依赖,依赖又改变人能够观察到哪些系统表现。这个循环可能帮助更新判断,也可能让偏差持续下去。图 4 及分析,pp. 67–69 ↗

如果一个系统从不被使用,人可能缺少新的表现信息;如果系统被高度信任,人又可能减少监控,偶发错误便更难进入判断。这里的重点不是“必须多用”,而是经验是否带来了可识别的反馈。作者还区分自动化类型:某些信息获取系统在不被依赖时也能被观察,动作执行系统则更难如此。不能把“想了解就必须交出控制”写成普遍规则。pp. 68–69 ↗

错误怎样发生,也会影响信任。综述指出,错误的可预测性、发生时间、后果和使用者原有期待都重要,不存在一个通用可靠性百分比,低于它所有人就会停止依赖。能够理解并补偿的稳定误差,与无法预测的错误,可能带来不同反应。可靠性与情境,p. 72 ↗

对今天的教学应用,一个值得研究的延伸问题是:我们记录的是“用了多少次”,还是“在哪种任务上得到过什么反馈”?若输出从未与来源、标准或实际结果对照,次数增加并不自动证明判断变得更准。

界面也参与这个循环。原文讨论了外观、图像、语音等线索对信任的影响,并提醒拟人化表达可能诱发不符合系统能力的期待。它最后提出:“Design for appropriate trust, not greater trust.” 即为适当的信任设计,而不只追求更高的信任。显示与设计建议,pp. 73–74 ↗

06 · 研究启发

研究者可以同时追问三件事:当事人怎样评价系统,实际怎样分配任务,以及哪些条件使两者一致或分离。本文的概念框架可以帮助解释这种关系,但仅凭一个人自述“更安心”或“更常用”,无法认定校准改善;还需要与相应任务中的能力和结果对照。pp. 55–56、67–70 ↗

07 · 延伸阅读与练习

  • 想看概念之间怎样连接? 回到 Lee 与 See 的图 2、图 4,以及 pp. 74–75 的设计建议。特别注意不同信息、情境与行为之间的关系。原文(PDF) ↗
  • 想看教师如何表达信任与疑虑? 读 Lyu 等人(2025)的单校调查,尤其表 2 与教师开放回答。先比较测量含义,再比较现象;它不是对本篇模型的完整验证。论文 ↗
  • 想把判断放回组织安排? 读 Bearman 等人(2023)的问责与劳动议程,追问谁能决定任务分配、谁负责解释结果。它分析文献话语,提供的是另一层问题。论文 ↗

试着写一次任务分配记录。 下面四步由本栏目依据原文整理,适合阅读讨论,不是经过验证的校准量表。

  • 使用之前:写下具体任务、预期表现,以及可以接受或不能接受的错误。
  • 分配之时:记下交出的步骤与保留的步骤,同时注明时间、设置成本或其他限制。
  • 使用之后:用可以核查的来源或标准比较实际结果,不把“看起来不错”当成唯一依据。
  • 再次使用:说明哪些反馈改变了安排,哪些条件变化后需要重新判断。

这份记录既可以留下“下次继续”的理由,也可以留下“暂不使用”的理由。对于课堂反馈这样的任务,还可以把节省的起草时间和增加的复核时间分别记录,再讨论当前分工是否合理。

原文并没有把“人必须永远掌握最终动作”列为通用答案;它还讨论某些时间关键决策需要交给自动化的情形。这提醒我们,任何责任与控制安排都需要任务证据,不能从一个口号直接决定。情境与能力的设计建议,p. 75 ↗

下一次准备把任务交给 AI,可以先问:我依据什么认为它能做好,这次的条件是否仍然成立,我又会从结果中学到什么?

原文与版本

Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.

出版方题录 ↗ · 大学网站全文(PDF) ↗

本篇为独立中文精读,页码使用期刊印刷页码;PDF 第 1 页对应期刊第 50 页。教学和生成式 AI 场景、任务记录均为本栏目延伸。已核对综述正文和关键图表,未独立复核其全部引用研究,也未据此计算适用于生成式 AI 的效果值。

更新于 2026-09-13 · v0.1。