交互设计与长期控制 · 论文精读

好用的AI,不只是答对:从第一次使用到长期相处的18条指南

从初次使用到纠错和长期适应,完整展开18条指南。区分能力与可靠性、解释与纠错、局部反馈与全局控制。

Amershi et al. · 2019CHI 2019 · Paper 3, 1–13 查看原文 ↗

一个AI系统第一次使用时让人惊喜,第二次犯错却很难纠正;用久之后,它记住了一些偏好,又没有说清这些记忆会影响什么。用户不是只在评价每条回答,也在摸索整个互动关系的规则。

这是编辑编写的情境。它指出一个经常被模型表现遮住的问题:即使答案总体不错,能力如何说明、服务何时出现、错误怎样恢复、长期行为如何控制,仍会决定系统是否真正可用。

Saleema Amershi及合作者在2019年CHI会议发表《Guidelines for Human-AI Interaction》,提出18条人机交互指南。他们整理既有设计建议,再通过多阶段评估修订。这篇论文的贡献,是把零散经验变成可检查、可讨论的设计问题。论文题录 ↗

一分钟读懂

  • 理论骨架:按开始使用、互动中、出错时、长期使用四个阶段组织18条指南。
  • 形成过程:168项候选建议归并为35个概念,筛为20项,再经评估修订为18条;不是168次实验选出18个有效方法。
  • 重点区分:能力范围不等于可靠程度,解释不等于纠错,单次反馈不等于全局控制。
  • 阅读边界:研究主要检验指南的相关性和可理解性,没有逐条随机证明它们提高学习效果,也没有覆盖后来所有生成式AI场景。

01 · 为什么输出质量还不足以说明交互质量

模型评价通常聚焦一条输出:是否正确、是否相关、是否符合要求。用户面对的却是一个持续过程。他需要决定什么时候调用系统,怎样理解建议,是否能够拒绝,以及操作失误后能否恢复。

如果系统不说明能力,用户可能提出不适合的要求;如果不说明限制,一次成功可能被理解成广泛可靠;如果无法纠错,即使绝大多数时候表现不错,少数错误也可能制造大量返工。

原文先指出传统界面原则面临的具体挑战:一致性要求行为可预测,而AI可能因概率错误、个性化或模型更新改变表现。这没有取消一致性的价值,反而要求设计者帮助用户理解变化、应对失误。引言,作者稿PDF1–2 ↗

这套指南也有清楚的源流。作者回顾Horvitz于1999年提出的混合主动交互原则,并指出18条中有8条与之对应。二十年后的工作把自主行动与用户控制的问题重新整理、跨产品检验,延续了既有HCI研究,而非从生成式AI出现后才开始考虑人的主动权。相关工作,作者稿PDF4 ↗

作者也回应了经验分散的问题:建议散见于论文讨论和行业材料,需要形成设计者可以使用的共同参照。作者稿PDF2–4 ↗

这项工作不是发明一个可以预测所有行为的统一理论,而是把重要问题组织成指南,并检查人们能否理解、能否在实际产品里识别它们。这个研究目的决定了怎样评价它的证据。

对今天的读者,18条的意义也不在于数量。它们让我们能够指出具体缺陷:用户不知道系统会不会记住这次修改,或者某次行动缺少解释。问题一旦具体,后续设计和评估才有明确对象。

02 · 168到18,中间发生了什么

研究收集的候选材料来自行业实践、公开设计文章及学术文献。团队先得到168项建议,通过归类形成35个概念,再去掉过于模糊、过于局限于某个场景或不专属于AI交互的内容,形成20项初始指南。§3,作者稿PDF4 ↗

例如,过于笼统的“建立信任”很难告诉设计者具体改哪里;过窄的建议又可能只适合一种产品。整理需要在可执行与可迁移之间寻找平衡,而不是把出现次数最多的口号直接保留下来。

随后,团队通过内部的改良启发式评估修订为18项。参与者不只寻找产品违反了什么,还尝试识别哪些设计体现了指南,并反思指南本身是否清楚。研究对象因而不只是产品,也包括检查工具的措辞和适用方式。

后续研究让49位实践者检查20款产品,反馈指南是否相关、是否容易理解,再由11位专家比较修订措辞。这个过程帮助发现含义重叠、理解不一致和表达需要调整的地方。§4–6,作者稿PDF4–11 ↗

这是一种指南归纳与评估研究,不是元分析,也不是18项界面干预分别对照测试的集合。它能支持“这套指南在多种产品中有用来检查的问题”,但不能直接支持“每应用一条,绩效就提高多少”。

03 · 四个阶段是一张互动地图

论文将18条粗略放进四个阶段:开始使用、互动中、出错时、长期使用。它们对应用户与系统接触的时间过程,与研究团队形成指南时的四个研究阶段不同。表1,作者稿PDF3 ↗

这张地图的价值,是阻止设计只盯着第一次惊艳。一个系统上线介绍得很清楚,长期更新却可能悄悄改变行为;一次纠错很容易,用户也可能仍不知道它是否影响以后所有回答。

四个阶段不是互斥格子。例如,方便调用和拒绝被归在“出错时”,但它们平时也有用。用户不想要某项建议,不一定意味着系统犯了事实错误,也可能只是当前目标不同。

阅读时可以沿一条具体任务走:用户怎样形成预期,系统怎样介入,分歧怎样被解决,反馈怎样进入未来。这样,指南就不只是一页检查清单,而是一个连贯的互动过程。

以下各节保留全部18条,以中文转述为主,重点展开六条。例子均为编辑设想,用于说明当代应用,不是原文已经测试的生成式AI产品。

04 · 开始使用:能做什么,与能做多好

  • G1:说明系统能做什么。 帮助用户理解能力范围。
  • G2:说明系统能做多好。 帮助用户理解表现与出错可能。

这两条看似相近,解决的却是不同的不确定性。一个写作助手“能总结材料”说明功能;总结在什么条件下容易遗漏、是否能处理全部格式,涉及表现。功能列表不能替代可靠程度的说明。表1,作者稿PDF3 ↗

G1的原文是“Make clear what the system can do.”。它要求用户能建立合理的能力预期,而不是猜测一个空白输入框究竟适合做什么。对新用户,具体任务示例往往比一个无所不能的标签更容易理解。

G2进一步要求“Make clear how well the system can do what it can do.”。这里不应被简化成统一写一句“AI可能出错”。如果所有场景只给相同提醒,用户仍不知道哪里更需要检查。

例如,一个材料助手可以明确说明能整理已提供文档中的观点,并指出未提供的资料不在依据范围内。至于如何展示不确定性、提醒放在哪里最有效,则需要另行测试;指南本身没有给出所有产品的统一界面答案。

两条共同关心的是预期如何形成。把承诺说得过满,后续解释和纠错都要补偿最初制造的误解;把能力说得过于含糊,用户又可能无法找到有价值的用法。

05 · 互动中:有帮助,也要在合适的时候出现

  • G3:根据情境选择服务时机。 考虑用户当前任务和环境。
  • G4:显示情境相关的信息。 让内容与当下活动有关。
  • G5:符合相关社会规范。 考虑使用者的社会文化预期。
  • G6:减轻社会偏见。 避免语言与行为强化不公平刻板印象。

G3与G4把“说了什么”和“什么时候说”分开。一个建议内容完全正确,也可能在用户刚要完成关键操作时打断他;另一个建议出现得恰到好处,却提供了无关材料。时机和相关性需要分别检查。表1,作者稿PDF3 ↗

在编辑设想的课程准备场景里,教师正在比较学生作业,助手突然推送长篇教学理论,可能增加负担。若能在用户请求比较时呈现与当前作业相关的差异,才更贴近任务。但这种具体实现是否有效,需要真实使用资料。

G5提醒,系统表达应符合情境中的互动预期。礼貌程度、措辞与介入方式没有脱离文化和任务的唯一答案。专业反馈里过于亲昵,或私人支持里过于生硬,都可能影响用户理解它的角色。

G6则涉及建议传播的社会后果。某个输出即使语法正确,也可能不断把某类身份与固定角色联系起来。设计检查因此不能只查能否完成指令,还要看系统在反复使用中强化了哪些偏见。

这两条都不等于让AI装得更像人。它们关心的是实际互动和影响:使用者会怎样解释这项行为,哪些群体可能受到不公平对待。外观友好不能替代这些检查。

06 · 出错时:调用、拒绝、修正与解释

  • G7:便于调用。 在需要时容易请求系统服务。
  • G8:便于拒绝或忽略。 不需要时容易退出或放弃建议。
  • G9:便于纠正。 容易编辑、修正或从错误中恢复。
  • G10:不确定时缩小服务范围。 澄清用户目标,或适当降低服务程度。
  • G11:说明系统为何如此行动。 让用户能够获得行为解释。

这一组把用户的主动权落实为具体动作。系统可以被调用,也应该可以被拒绝;可以提出建议,也应允许修正。若每次拒绝都需要绕过多个步骤,界面形式上有选择,实际使用却可能不断推动用户接受。表1,作者稿PDF3 ↗

G9尤其值得放到流程里看。纠错并不只是一个“重新生成”按钮。用户可能需要编辑一个局部、返回修改前状态,或恢复被系统错误改变的内容。重新生成整份输出,有时还会破坏原本正确的部分。

G10处理的是系统不确定用户目标的情形。澄清问题或缩小服务范围,可以避免把一个没有理解清楚的请求直接变成大幅行动。这与系统不知道某个事实并不完全相同,理解目标和知道答案是两类问题。

G11的原文“Make clear why the system did what it did.”,强调让用户获得行动理由。说明为什么选择某条路线,与说明系统通常能做什么,是不同信息;前者帮助理解这次行动,后者建立整体预期。

但解释与纠错仍不能合并。一个系统把错误理由讲得很详细,不代表用户能够恢复结果。反过来,能够撤销也不代表用户理解错误从何而来。设计需要给出两种不同的支持,并检查它们是否真正帮助人。

07 · 长期使用:记忆、适应与控制

  • G12:记住近期互动。 支持用户有效引用近期上下文。
  • G13:从用户行为学习。 随使用逐步形成个性化支持。
  • G14:谨慎更新与适应。 减少行为变化带来的破坏性影响。
  • G15:鼓励细粒度反馈。 允许在具体互动中表达偏好。
  • G16:说明行动的后果。 让用户知道操作怎样影响未来行为。
  • G17:提供全局控制。 允许整体调整系统监测内容与行为。
  • G18:告知系统变化。 让能力的新增或更新可被理解。

长期使用的便利,常常来自系统不必每次重新开始。但记住上下文、形成长期偏好和永久改变全局设置,不是同一种记忆。它们影响范围不同,用户需要有办法理解和控制。表1,作者稿PDF3 ↗

G15与G17的区分,是论文修订过程中专门澄清的问题:前者关心具体互动中的细粒度反馈,后者关心系统行为的全局定制。一次标记“不喜欢”,究竟只是当前建议无关,还是以后都不希望出现这类内容?界面应帮助表达这种差别。作者稿PDF10 ↗

G16把二者连接起来。反馈不只需要能输入,还需要让用户理解它会带来什么。否则,人可能以为系统记住了长期要求,系统却只处理了当前回合;也可能以为纠正一次错误,却改变了后续全部推荐。

G14与G18也需要一起看。系统更新可能提高能力,同时改变用户已经熟悉的操作方式。谨慎适应与明确告知,帮助人重新建立预期。只在后台变好,不保证用户能够立即理解新的行为。

在当代助手中,记忆与个性化经常被当成一种整体优势。指南提供的更细问题是:记住了什么、依据是什么、影响多久、能否撤回,以及行为改变时用户是否看得见。

08 · 这套指南的证据强在哪里,弱在哪里

研究的一个长处,是展示指南如何经过实践者理解和产品检查而修订。作者没有只宣布18条原则正确,还记录了含义容易混淆、需要改写的地方。措辞不是装饰,它决定不同评估者是否在检查同一个问题。

另一个长处是跨产品的应用。设计指南若只适合一个案例,很难形成共同语言;让不同产品成为检查对象,有助于寻找较一般的交互问题。§5–6 ↗

清理与调整后,实践者报告了785条实例:313条体现指南,277条违反指南,89条中性,106条认为不适用。这些是本次产品评估的实例数,不是785名用户,也不是整个行业的违规率。结果,作者稿PDF7–9、图1 ↗

其中,G11“说明系统为何如此行动”属于违规较多的指南。有人完全找不到推荐理由,有人虽得到“最佳路线”之类的说明,却仍不知道所谓最佳依据什么。解释是否存在与解释能否回答用户的问题,是两层不同的缺口。

“不适用”报告最多的是G3、G5、G6。G3的部分不适用与产品只在用户主动请求后提供服务有关;G5、G6则暴露评估者视角的限制:有人觉得产品没有社会偏见,另一人却能指出默认角色或对行动能力的假设。两条也被评价为最不清楚的指南,不能把这种理解困难直接说成它们不重要。作者稿PDF9 ↗

因此,评估团队的视角本身影响发现什么。作者提出需要更多样的评估者,以及识别规范与偏见的训练或工具。这比只要求设计者逐条打勾更具体:没有发现问题,也可能是观察条件与经验不够。

但适用性与可理解性并不等同于结果效益。实践者认为某条与产品相关,不能代替终端用户在有无该设计时的比较;评估者能找到实例,也不能说明所有用户都理解或使用了这个功能。

作者承认通用性与专门性之间存在取舍,18条未必充分覆盖所有AI系统。今天的生成式助手、自主行动系统或高风险专业工具,可能需要额外问题,例如信息来源的核验和行动权限边界。这里是当代应用中的编辑补充,不是原文额外提出的第19条。

因此,最适合的使用方式是先用指南发现缺口,再选择重要问题做针对性测试。若把18条全部打勾就宣布系统安全、可靠或有教育价值,反而跳过了指南本来应该帮助展开的判断。

这些限制也说明,指南不是用来给产品机械排名的十八分量表。不同任务的风险和使用频率不同,同一条缺失可能产生不同后果。一个推荐工具缺少细粒度反馈,与一个会改变重要资料的助手缺少恢复入口,不能简单按“各扣一分”处理。

更有意义的评估报告应写明实例:用户在什么任务、哪一步遇到困难,已有设计怎样回应,哪些证据支持这个判断。这样,团队讨论的是可定位的问题,而不是抽象地争论是否“符合人机交互原则”。指南成为共同语言,具体情境仍保留自己的重量。

09 · 与认知强制和社会反应研究对读

第22篇Buçinca等发现,即使提供解释,人仍可能跟随错误建议;调整信息到来的时机,可以减少一部分过度依赖。这与G11形成了清楚的对话:解释可以获得,是设计条件;解释被有效用于判断,是行为结果。相关精读 ↗

G9也有相同区别。纠错入口存在,不代表用户发现了错误;用户发现错误,不代表愿意花费时间修正。后续评估需要沿着发现、理解、行动与恢复逐步检查,而不能只点一次按钮确认它能运行。

第11篇Nass与Moon讨论人对计算机的社会性反应,使G5中的社会规范更加值得谨慎对待。一个系统的语言与角色线索可能影响回应,但友好语气不应替代能力说明,也不应被当成可靠性的证据。相关精读 ↗

把两类研究放在一起,可以同时看到界面需要符合互动预期,又需要避免让这种预期掩盖实际能力。具体应采用何种语气、提示和控制方式,仍应在目标用户与任务中检验。

10 · 用一条任务走完四个阶段

以下是编辑提出的检查方式。选择一项真实任务,例如用AI整理课程反馈,记录用户第一次打开系统、处理材料、发现问题、修改偏好到下次继续使用的完整过程。一次只追踪同一任务,避免18条变成抽象口号比赛。

开始时检查用户是否知道系统依据哪些材料、哪些问题不能由它代替判断。互动中检查建议是否在合适时机出现,是否与当前材料相关。出错时观察用户怎样发现、能否局部修正、是否能够恢复之前内容。

长期阶段再看某次反馈有没有进入以后行为。用户预期它记住什么,系统实际做了什么,两者是否一致?这一部分通常无法只靠一次演示判断,需要至少跨越多次使用。

记录时可以分三栏:指南对应的设计是否存在,用户是否理解并使用,最终工作结果怎样变化。第一栏是界面检查,第二栏是过程证据,第三栏才涉及效果。把它们分开,能减少“功能齐全所以有效”的跳跃。

这篇论文留下的尺度,是让AI的可用性贯穿时间。第一次让人愿意试只是开头;能否理解、拒绝、修正,并在长期变化中保留控制,才让一项能力逐渐成为可以依靠的工作支持。

如果检查只能从一处开始,可以先选最近一次真实失败。用户当时预期系统做什么,系统实际做了什么,为什么没有及时发现,又如何恢复?沿着这条路径,往往能同时看见能力说明、情境相关性、解释、纠错和长期反馈之间的联系。它比逐条凭印象打勾,更容易找到真正影响工作的缺口。

改动完成后,再用相近任务重复观察,检查用户是否更容易理解与处理。指南负责帮助提出问题,现场证据负责判断改动是否有效。二者保持这种分工,18条才会随着产品和任务继续发挥作用,而不是变成一张完成之后无人再看的合规海报。

原文与版本

Amershi, S., et al. (2019). Guidelines for human-AI interaction. Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, Paper 3, 1–13.

出版方题录与原文入口 ↗ · 微软研究院作者稿 ↗

本文依据已归档19页作者稿,含附录,正文定位使用该稿PDF页序,不与正式会议版13页页码混用。核对表1全部指南、形成过程、评估与讨论;未将指南评估扩称终端用户成效实验。产品和课程例子及当代应用判断为编辑延伸。

更新于2026-10-18 · v1.0 · 正式版。