个体创造力与集体多样性 · 论文精读

AI让作品评分更高,为什么故事却变得更像?

AI点子帮助单篇故事获得更高评价,却使一组故事更加相似。分清作品评分、基线差异与集合相似度,理解创作收益的两个层次。

Doshi & Hauser · 2024Science Advances · 10, eadn5290 查看原文 ↗

想象一组写作者各自完成故事。使用AI点子的人,作品平均更受读者认可;把这些故事放到一起,却发现它们之间的距离变小了。对个人而言是一次帮助,对整个作品集合而言,变化就不只有“更好”。

这是用来解释研究问题的编辑情境。我们平时评价AI创作,经常盯着眼前那一篇:是否通顺、是否新颖、是否值得发表。可如果许多人同时借助相似的起点,只评价单篇就可能错过集合层面的变化。

Anil R. Doshi与Oliver P. Hauser在2024年发表于《Science Advances》的实验,正把这两个层次放在一起。他们研究AI故事点子怎样影响短篇创作,并分别观察人类评分与作品之间的相似程度。正式论文 ↗

一分钟读懂

  • 操纵的内容:写作者独立写故事,或可以获取一个、至多五个AI点子;AI提供故事起点,人完成八句短故事。
  • 个体结果:获得AI点子机会的作品,新颖性与有用性评分平均提高,较低基线创造力者获益更大。
  • 集体结果:AI条件中的故事彼此更相似。单篇评价提高与集合差异缩小,可以同时成立。
  • 阅读边界:这是固定任务与有限调用方式的实验,没有测试所有提示策略、专业写作或长期文化演化。

01 · 创造力怎样变成可以研究的东西

“有创造力”听起来像一个整体评价,但研究需要先明确它指什么。作者沿用新颖性与有用性两个常见维度,再根据短故事任务调整具体指标。p.1 ↗

新颖性关注作品是否新鲜、原创、稀有。有用性在这里并不等于故事能教人解决现实问题,而是面向目标读者是否合适,是否有发展为完整书籍的可能,以及出版方是否可能进一步开发它。

这个定义决定了结果能支持什么判断。故事更像一份可发展的出版素材,是本文有用性的一种含义;不能直接翻译成商业创新更成功、教学更有效或所有创作者的能力更强。

作者还收集作品是否写得好、是否令人愉快、是否乏味等评价。这些项目帮助描绘读者体验,但不是同一份创造力指数,也不是写作者的情绪健康测量。

测量越清楚,我们越能避免笼统争论。一个故事可能结构成熟却缺少新意,也可能新奇但难以展开。论文没有要求读者在“AI有创造力”和“AI没有创造力”之间站队,而是把不同结果分开观察。

02 · AI提供点子,人负责写完

创作者被要求写八句短故事,主题和目标受众等条件由任务规定。他们随机进入三种条件:人类独立创作、可以获得一个AI点子、可以获得至多五个AI点子。AI生成的是三句故事起点,不是自动完成整篇八句作品。研究设计,p.2 ↗

主题随机分配为公海、丛林或另一颗星球上的冒险,目标读者为15–24岁的年轻人。界面还禁止直接复制粘贴AI点子文本。因此,这里不是让写作者按一下按钮提交AI全文;但禁止粘贴并不排除手动转述或沿用情节,也不能据此证明后续叙事已被起点完全决定。方法,pp.6–7 ↗

这一区别改变了如何理解“AI辅助写作”。在本实验里,系统主要介入构思起点;写作者仍要选取、展开和完成。它与让模型代写全文、让模型逐段修改,或来回讨论几十轮,都不是同一种合作安排。

最终分析包含293篇故事,另有600名独立评价者参与评价。在主要评价阶段,他们不知道作品是否获得AI帮助。将写作者与评价者分开,有助于减少“我觉得自己借助AI写得更好”与作品实际得到评价之间的混淆。

600是评价者人数,不能写成有600名作者完成创作。评价者还会评多篇故事,因此评分条数、故事数与独立写作者数也是不同层级。大量评分能增加信息,但不等于同样数量的独立创作实验。

任务有控制,也有代价。固定长度、主题和受众让条件之间更容易比较,却缩小了创作自由。专业写作里的资料积累、反复重写、与编辑讨论等活动,不能全部由一次短故事任务代表。

03 · 可以调用五次,不等于每人都用了五次

在两个可用AI条件中,88.4%的参与者至少调用过一次。具体说,一个点子条件中100人有82人调用;至多五个点子条件中98人有93人调用,合计175人,占198人的88.4%。p.2 ↗

在允许多次调用的条件里,平均调用2.55次,24.5%的人取满五个点子。这说明“最多五个”首先是一种可用机会,不能写成实验要求所有人阅读五个点子,再选一个写作。

随机分配的是获得这种机会的条件,实际调用次数还包含个人选择。有人可能很快找到合适起点,有人可能不喜欢最初的建议而继续请求。只比较多调用与少调用的人,就可能混入这些原有差异。

因此,主要条件效应回答的是提供某种AI访问机会产生什么影响,不是“每增加一个点子必然提高多少创造力”。更多可用选项与更多实际使用,也不能在叙事中悄悄替换。

这对日常产品评价同样有启发。开通账号、使用过工具、接触过某项功能和实际把建议写进作品,是不同的接触程度。只记录一个“使用AI”的勾选框,容易漏掉真正发生的创作过程。

04 · 个体作品评分提高了多少

相对于没有AI的条件,可以获得一个点子的作品,新颖性评分提高约5.4%;可以获得至多五个点子的作品,提高约8.1%。对应的回归系数约为0.207与0.311。p.3,图2 ↗

有用性评分的相对增幅分别约为3.7%和9.0%,对应系数约为0.185与0.453。这些百分比描述评分相对于对照的变化,不是创新人数增加,也不是得分量表直接增加同样数值的百分点。

把两个指标并排看,研究支持在这项任务中提供AI点子有助于平均作品评价,且多点子机会的结果更有利。不过,较高平均评分没有告诉我们每一个作者都获益,也没有保证最独特的作品数量一定增加。

作者自己评价作品时,条件间的新颖性与有用性没有出现同样显著的差异。这提醒我们,自我感受与第三方判断未必同步。AI可能改变作品的外部评价,却没有让作者同样清楚地意识到变化。

读者体验也有细分:一些AI辅助作品被评为更令人愉快、更可能有情节转折,但并非所有项目都改善,例如幽默评价没有同样的显著优势。把多个结果压成“全面提升创作质量”,会失去这项研究最有价值的分辨率。

主要盲评之后,研究还探索了披露AI使用情况的影响。正文报告,评价者对获得AI点子的写作者给予至少25%的作品归属评价折价,同时多数人仍认为这种使用合乎伦理、属于创作行为。这是评价者怎样分配创作认可的探索性结果,不是法律上的版权或署名权减少25%;独立补充材料中的具体测量与分析仍需另行核查。讨论,p.6 ↗

更适当的读法是先保留作品、评价者、量尺和基准,再讨论意义。它让我们知道工具在哪类指标上提供帮助,也保留继续问哪些创作品质没有被当前评价捕捉到的空间。

05 · 为什么较低基线者获益更大

写故事之前,参与者完成发散联想任务,简称DAT:提交彼此尽量不同的词语,研究用词语表示之间的距离形成分数。作者将其作为基线创造力的一个代理指标。pp.3–4 ↗

这个测量不是给人颁发终身创造力证书。它捕捉特定任务中的联想差异,不能替代一个人的全部创作经历、专业知识或在其他形式中的表现。阅读“较低创造力者”时,最好把这个测量背景一起带上。

在较低DAT者中,一个点子机会与至多五个点子机会,对新颖性的增幅约为6.3%与10.7%,对有用性的增幅约为5.5%与11.5%。较高DAT者的作品原本评分较高,额外收益较小。p.4,图3 ↗

作者认为,AI在这个任务中帮助缩小了不同基线作者的作品评分差异。它提供的起点、组织方式或表达可能补充较低基线者的不足;这与“所有人被提升同样多”是两种不同的结果图景。

讨论部分进一步指出,本研究没有发现AI点子把作品创造力推到高创造力写作者独立完成水平之上的证据。准确的说法是,在这批参与者和八句故事任务中,差距缩小,而高端表现未显示进一步突破;这不是人类创造力上限已被测定,更不能推广成AI永远只能托底。讨论,pp.5–6 ↗

较低与较高DAT者调用点子的频率并没有显示相应差异。因此,收益差异不能简单归结为前者用了更多。但这仍不意味着机制已经完全确定:如何挑选、怎样改写、原先有哪些困难,还需要更细的过程证据。

对教育而言,一个值得继续研究的问题是,工具究竟帮助学习者形成了自己的新能力,还是让当前作品达到更高标准。本实验主要评价产出,没有安排足以回答长期学习的独立后测,两种意义应当保留区别。

阅读图3时,应该看随着DAT变化,不同条件下预测评价怎样移动,而不只是寻找哪一条线最高。低基线端的差距较大,高基线端差距变小,讲的是收益随已有表现变化的模式。它不等于某个明确分数以下的人才值得获得工具,也没有提供用于筛选学生的阈值。

同样,缩小作品评分差距可以有积极意义:更多人达到可读、可发展的水平。但教学目标若还包含形成不同视角,平均质量趋近就不是唯一标准。这两种价值需要分别讨论,不能因为其中一种可量化,便把另一种排除在评价之外。

06 · 集体多样性,怎样与个人新颖性分开测

研究还把每篇故事转换成文本嵌入,用余弦相似度比较内容。简单理解,嵌入把文本表示为一组数值,相似度反映它们在这种表示空间中有多接近;这与读者给故事打分是不同工具。p.4,图4 ↗

作者将相似度乘以100,形成0–100尺度,并比较某篇故事与同一条件下其他故事平均表示的接近程度。结果显示,两个AI条件的故事平均更接近同条件的其他作品。

相对于无AI条件,对应系数约为0.871和0.718。它们是相似度尺度上的增量,不是“文化多样性下降0.871%与0.718%”。正文还用无AI组相似度的取值范围作参照,得到10.7%与8.9%;这个换算也不能变成普遍的多样性损失比例。

为什么作品单独看更新颖,合起来却更相似?一种可能是,AI帮助很多人越过常规写作的低门槛,但同时提供相近的起点。每篇比原来的独立产出更成熟,并不意味着它们彼此之间更远。

可以用一个编辑类比理解:许多人原本各有不成熟的草稿,经过同一套优质范例的帮助,各自都改善了,却也都靠近同一种表达。这个类比说明逻辑关系,不是对实验参与者实际心理过程的重建。

因此,个人评价与集体比较不能相互代替,也不能将两种数字相减得到“净创造力”。它们测的是不同对象,需要分别讨论谁获得收益、哪些差异可能减少。

07 · 锚定解释有什么证据

为理解作品为何趋同,作者进一步比较故事与AI点子的相似程度。对于调用过AI的作者,使用首个可用点子;对于没有AI或没有调用的人,则随机配对同主题AI点子作为比较。p.5 ↗

两个AI条件的作品与点子更加相似,相对无AI条件约增加5.2%与5.0%。作者据此认为,写作者在一定程度上受到AI起点的锚定。这里的百分比和前面故事彼此相似度的系数不是同一个比较。

锚定是一种有材料支持的解释:初始建议可能限定后续展开的方向。与此同时,研究没有直接观察每位作者脑中怎样形成构思,也没有把起点影响与全部其他机制单独分离。

文本相似更不等于抄袭判定。一个人可能大量改写,也可能借用了结构或主题;嵌入提供的是集合比较的方法,不能自动给个别作品作出处罚性判断。

AI作为“跳板”的帮助与作为锚点的限制,可以发生在同一过程里。一个建议让人开始写,也可能使其他原本会想到的方向不再被探索。这种张力比简单赞成或反对工具,更接近实际创作的问题。

锚定还带来一个关于顺序的问题。如果一个人先看到AI建议,再形成自己的想法,我们很难知道那些没有出现的方向是什么。若先保留独立构思,再引入建议,就多了一份可比较的材料。这样的过程设计可以帮助研究起点怎样影响展开,而不仅是在完成之后询问作者觉得有没有受到影响。

不过,独立构思本身也可能需要更多时间。评价新安排时应计入这项成本,并检查额外时间究竟带来更丰富的方向,还是仅使完成更慢。本文没有比较这种流程;它从锚定解释引出一个可以继续测试的变量,而不是已经确定的改进秘诀。

08 · 作者为什么把它称为社会困境

摘要将结果描述为一种类似社会困境的动态:个人借助工具可能更好,集体产生的新内容范围却可能收窄。这里把分析单位从一位作者扩展到许多作者共同构成的内容环境。p.1及讨论 ↗

但研究观察的是一次在线实验中的作品集合,没有追踪整个文化市场多年变化。是否会出现长期收窄,还涉及专业创作者如何回应、读者偏好、模型变化、出版选择及新的创作策略。不能把作者提出的担忧写成已经测得的历史趋势。

这篇论文也没有允许写作者自由定制提示或与系统持续来回讨论。它说明一种受控的点子提供方式可能带来趋同,不足以证明所有协作方式、所有模型和所有专业作者都会如此。p.6 ↗

不过,这个边界并不使结果无关紧要。恰恰因为实验安排清楚,我们可以问:换成先独立提出点子、要求寻找不同方向、加入不同来源材料,能否保留单篇收益,同时减少集合趋同?这些是可以比较的后续问题。

09 · 与设计思维和学习研究对读

第7篇Dorst讨论框架形成与框架创造,关心人如何重新理解问题、价值与解决方向。这篇短故事实验则在相对固定的主题和任务里测作品评分。更高的新颖性,不等于作者重新设定了问题。相关精读 ↗

把两篇连起来,能够提出更精确的创作观察:AI帮助人完成既定要求,还是帮助他发现要求本身值得改变?前者可以由产出评价检验,后者需要追踪目标、约束和判断如何变化。

第17篇关于AI护栏与学习的研究,则提醒我们不要将更好的当前作品直接算作能力增长。如果希望在教学中使用故事点子,还需要观察学生之后能否独立构思,而不只是这次写得更顺。相关精读 ↗

这些联系属于编辑对照,不意味着论文使用相同的创造力或学习量表。对话的价值在于补出新的研究问题,而不是把不同研究的指标拼成一个统一分数。

10 · 一个同时看个人与集体的创作试验

以下是编辑设想。组织一组写作者完成相同类型任务,可以比较直接获得AI点子、先独立构思再获得AI点子,以及不使用AI三种安排。事先确定评价标准,并让独立评价者不知道条件。

评价每篇作品时,记录新颖性、可发展性与具体质量问题;评价整个作品集合时,再看主题、叙事结构和文本表示的相似程度。不同相似度方法可能捕捉不同特征,最好不要只用一个数字承担全部多样性判断。

同时保存起点与修改过程。作者保留了哪些自己的想法,拒绝了哪些AI建议,何时改变方向?这些材料有助于判断趋同发生在生成起点、筛选还是后续润色,而不只是看最后作品长得像不像。

如果目标还包括学习,可以加一个之后独立完成的新任务。产出改善、集合多样性和独立能力是三条评价线,可能给出不同答案。事先分开它们,才不会在看到结果后随意切换成功标准。

这篇论文让“好作品”之外多了一层视野。我们既可以承认工具对某个作者的帮助,也可以继续关心:当许多人都得到同一种帮助时,整个内容世界还有多少不同的出发点。

作品集合的比较还应问“哪些差异值得保留”。词汇不同可能只是表面变化,人物处境、价值冲突或问题理解的差异则可能更重要。计算相似度可以帮助发现整体模式,人工分析可以进一步解释模式对应什么内容。两种方法配合,才能避免把一个数学距离直接等同于文化丰富度。

对一个内容团队而言,可以先比较同主题、相近篇幅的一组作品,看看大家是否反复从相同的开头、转折和结论出发,再回到生成过程寻找原因。目的不是要求每篇刻意与众不同,而是让质量改进与表达差异都进入讨论。工具帮助人跨过空白页之后,是否还留下继续偏离共同起点的空间,值得被认真保留为一个问题。

原文与版本

Doshi, A. R., & Hauser, O. P. (2024). Generative AI enhances individual creativity but reduces the collective diversity of novel content. Science Advances, 10, eadn5290.

出版方题录与原文入口 ↗

本文采用9页正式版,页码对应PDF页序。核对正文任务、样本、评分增幅、调用情况、DAT异质性、相似度分析及正文报告的归属评价探索结果;独立补充材料中的实现细节及附表未逐项复核,未重跑数据。开篇类比与教学、创作试验建议为编辑延伸。

更新于2026-10-18 · v1.0 · 正式版。