两种代价 p. 50 · 作者转引
游轮
自动导航系统故障 → 船员未能及时纠正偏航 → 搁浅
造纸厂
有些操作员拒绝使用自动控制器 → 本来可以得到的好处落空
在不该依赖时依赖
在可以用时不用
两例均为作者转引。原文写游轮偏航 24 小时；NTSB 事故报告写船员超过 34 小时未发现偏航，官方调查还指出培训、系统设计和操作程序等问题。
HUMAN FACTORS《人因》· 46(1) · 2004 · pp. 50–80
Trust in Automation: Designing for Appropriate Reliance
《自动化中的信任：为适当依赖而设计》
John D. Lee · Katrina A. See · 爱荷华大学
综述 · 不是新实验组织人际心理人与自动化→概念模型 + 设计建议
误用、弃用和信任 pp. 50–51
误用 · misuse
不经意间违背关键前提，在不合适的时候依赖
弃用 · disuse
拒绝了自动化本来能发挥的能力
两种都是：依赖不当
为什么要谈信任？
越来越复杂未预料的情况→没法完全弄懂→信任引导依赖多少
定义 · p. 51
在不确定、又可能受损的处境里，相信某个行动者会帮助自己实现目标的一种态度
信任引导→依赖但不完全决定
从信任到行动 pp. 53–54、67 · 图 4 简化
信任怎样变成行动？
每一步都有别的因素插进来
影响“形成依赖意向”
启动所需努力工作负担感知风险自信
影响“意向 → 实际依赖”
时间限制（来不及启动）配置错误
编辑设想
离开会只剩十分钟，老师没用自动化工具整理反馈 → 未必是不信任，可能是来不及启动
依据原文图 4 简化的概念模型，不是经新实验验证的固定因果链
校准，不是取中间值 pp. 55–56 · 图 2 示意
校准 ≠ 把信任调到中间
对角线表示相称，不是把信任分数和正确率直接换算
分辨力 · resolution
能力变化很大，信任却几乎不变 → 分辨力差
针对性 · specificity
信任能否对应到具体的功能，和具体的时刻与情境
功能 A：可靠功能 B：未必
上次的条件≠今天的条件
信任根据什么 pp. 58–61、66–67
表现 · performance
做得怎么样：现在和过去的可靠性、可预测性
过程 · process
怎么运行：算法是否适合眼前的情境
目的 · purpose
为什么设计：现在的用法是否在设计意图之内
可以互相推断：几次表现好→推想内部机制可靠推断不一致 → 信任受损
但有研究发现（转引）
读过书面的用途说明 → 一开始就有目的层面的信任
自动化本身没有意图；它的目的，体现的是设计者的意图（p. 66）
信息怎样变成信任 pp. 61–65 · 图 3
作者综合前人研究画出的概念图：情感对分析的影响，被画得比反方向更强
分析
比较证据和得失，像在算一笔账
能说明合理的信任依据什么；但人未必有时间和能力这样算
有研究发现（转引）
误报让人对警报反应变慢；传言说误报率比实际低，抵消了这种变慢
计算机礼仪 → 可能归到不合适的类别
情感
对系统既有判断，也有安心、不安等感受
期待被打破时，这些感受可能提醒人重新分配注意
“以前听锅炉的声音、看炉火的颜色，就知道它运行得怎样。离开这些景象和气味，我觉得不自在。”
工厂操作员 · Zuboff (1988) · 作者转引 pp. 64–65 · 中文意译
为什么用得久也可能看不准 pp. 67–69 · 图 4
不信任 → 不太会用 → 缺少新信息 → 信任难增长
高度信任 → 监控更少 → 即使偶尔出错，信任也可能继续增长
自动化的类型
可能是可靠性改善后，信任没能完全恢复的原因之一（p. 69）
小差别被放大 →完全手动或完全自动
错误怎样影响信任 pp. 69–72
影响随时间展开 · pp. 69–70
有些立即出现有些会延续修好了，信任也未必马上恢复
常受系统最差表现影响
起初可靠性低 → 改善后信任仍偏低
作者整理的研究中，还有这样的发现 · p. 72
较大误差，但稳定、可理解
事先知道毛病 → 可能继续依赖，自己补偿
不存在一个通用的可靠性门槛
各研究的估计差别很大（90%、70%、60% 不等），因系统和情境而异，不可通用
关键在于：时机后果原本的期待
合适的信任，取决于是否理解情境怎样影响系统的能力
为适当的信任设计 pp. 74–75
作者提出的初步建议（tentative guidance）· 设计、评估和训练
为适当的信任设计，而不是为更高的信任设计
Design for appropriate trust, not greater trust.
展示过去的表现
用能理解的方式展示中间结果
在可能时简化算法
说明目的、设计依据和适用范围
训练：预期可靠性、运作方式、预定用途
谨慎评估拟人化：用语音做成对话伙伴 → 可能产生不符合能力的期待
控制权怎样分：看任务和证据
带回今天 编辑延伸
原文情境：航空、航海、工业控制、信息系统中的自动化 · 不是生成式 AI 的研究
一组可以检查的问题
任务分配记录（编辑练习，不是经过验证的量表）
① 使用之前
具体任务 · 预期表现 · 能接受和不能接受的错误
② 分配之时
交出哪些步骤、保留哪些 · 时间和设置限制
信任与能力相称吗？依据是什么？怎样随反馈更新？
Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80.