根据麻省理工学院(MIT)和亚利桑那州立大学(Arizona State University)的一项研究，用户对人工智能的互动和信任受到对人工智能性格的先验启动的显著影响。

研究表明，用户可能会被暗示相信某些事情关于人工智能聊天机器人的动机，这会影响他们与聊天机器人的互动。

一项新的研究表明，人们对人工智能代理(如聊天机器人)的先前信念，会对他们与该代理的互动以及他们对其可信度、同理心和有效性的看法产生重大影响。

启动对知觉的影响

麻省理工学院和亚利桑那州立大学的研究人员发现，启动用户——告诉他们心理健康支持的会话人工智能代理要么有同理心，要么中立，要么善于操纵——会影响他们对聊天机器人的看法，并影响他们与聊天机器人的交流方式，即使他们是在和同一个聊天机器人说话。

大多数被告知人工智能代理关心的用户都相信它是关心的，并且他们给它的表现评级也高于那些认为它是操纵的用户。与此同时，在被告知代理人有操纵动机的用户中，只有不到一半的人认为聊天机器人实际上是恶意的，这表明人们可能会试图像对待人类同胞一样“看到人工智能的好处”。

一项新的研究表明，人们对人工智能代理(如聊天机器人)的先前信念，会对他们与该代理的互动以及他们对其可信度、同理心和有效性的看法产生重大影响。来源:Christine Daniloff, MIT;iStock

ai对话中的反馈循环

该研究揭示了用户的心智模型(或他们对人工智能代理的感知)与该代理的反应之间的反馈循环。随着时间的推移，如果用户认为人工智能具有同情心，那么用户与人工智能的对话情绪会变得更加积极，而认为人工智能邪恶的用户则会相反。

“从这项研究中，我们看到，在某种程度上，人工智能是旁观者的人工智能，”麻省理工学院媒体实验室流体界面小组的研究生、一篇描述这项研究的论文的共同主要作者帕特帕塔拉努塔蓬说。“当我们向用户描述什么是人工智能代理时，它不仅改变了他们的思维模式，还改变了他们的行为。由于人工智能会对用户做出反应，当用户改变行为时，人工智能也会随之改变。”

人工智能如何呈现

加入Pataranutaporn的还有共同主要作者、麻省理工学院研究生Ruby Liu;亚利桑那州立大学科学与想象中心副教授Ed Finn;以及资深作者、媒体技术教授、麻省理工学院流体界面小组负责人帕蒂·梅斯。

今天发表在《自然机器智能》杂志上的这项研究强调了研究人工智能如何呈现给社会的重要性，因为媒体和流行文化强烈地影响了我们的思维模式。作者也提出了警告，因为在这项研究中，相同类型的启动语句可能被用来欺骗人们关于人工智能的动机或能力。

“很多人认为人工智能只是一个工程问题，但人工智能的成功也是一个人为因素的问题。我们谈论人工智能的方式，甚至是我们最初给它起的名字，当你把这些系统放在人们面前时，都会对它们的有效性产生巨大的影响。我们必须更多地考虑这些问题，”梅斯说。

人工智能移情:感知还是现实?

在这项研究中，研究人员试图确定人们在人工智能中看到的同理心和有效性有多少是基于他们的主观感知，有多少是基于技术本身。他们还想探索是否可以通过启动来操纵某人的主观知觉。

“人工智能是一个黑盒子，所以我们倾向于将它与我们可以理解的其他东西联系起来。我们做类比和隐喻。但我们可以用什么来比喻人工智能呢?答案并不简单，”Pataranutaporn说。

他们设计了一项研究，在这项研究中，人类与一个会说话的人工智能心理健康伴侣互动约30分钟，以决定他们是否会把它推荐给朋友，然后对代理人和他们的经历进行评级。研究人员招募了310名参与者，并将他们随机分成三组，每组都有一个关于人工智能的启动陈述。

第一组被告知人工智能没有动机，第二组被告知人工智能有善意，关心用户的幸福，第三组被告知人工智能有恶意，会试图欺骗用户。刘说，虽然只选择三种引物很有挑战性，但研究人员选择了他们认为最符合人们对人工智能的普遍看法的陈述。

每组中有一半的参与者与基于生成语言模型GPT-3的人工智能代理进行交互，GPT-3是一种强大的深度学习模型，可以生成类似人类的文本。另一半与聊天机器人ELIZA的实现进行交互，ELIZA是麻省理工学院在20世纪60年代开发的一种不太复杂的基于规则的自然语言处理程序。

启动效应在知觉形成中的作用

调查后的结果显示，简单的启动语句可以强烈影响用户对人工智能代理的心理模型，而积极的启动语句的影响更大。在被给予消极引物的人群中，只有44%的人相信这些说法，而在积极引物组中，88%的人相信，在中性引物组中，79%的人相信，人工智能是有同情心的，或者是中立的。

“对于消极的启动陈述，我们不是启动他们相信什么，而是启动他们形成自己的观点。如果你告诉某人要怀疑某件事，那么他们可能会更加怀疑，”刘说。

但这项技术的能力确实发挥了作用，因为对于更复杂的基于GPT-3的会话聊天机器人来说，效果更为显著。

研究人员惊讶地发现，用户根据启动语句对聊天机器人的有效性给出了不同的评价。积极组的用户在提供心理健康建议方面给他们的聊天机器人打了更高的分，尽管事实上所有的代理都是一样的。

有趣的是，他们还发现，对话的情绪会根据用户被启动的方式而变化。相信人工智能有爱心的人倾向于以更积极的方式与它互动，使代理人的反应更积极。消极的启动语句则产生相反的效果。梅斯补充说，随着谈话的深入，这种对情绪的影响会被放大。

研究结果表明，由于启动语句会对用户的心智模型产生如此强烈的影响，人们可以使用它们使人工智能代理看起来比实际更有能力——这可能会导致用户过于信任代理，并听从错误的建议。

“也许我们应该让人们更加小心，并了解人工智能代理可能会产生幻觉和偏见。我们谈论人工智能系统的方式最终将对人们对它们的反应产生重大影响，”梅斯说。

在未来，研究人员希望看到，如果代理被设计为抵消一些用户偏见，人工智能与用户的交互将如何受到影响。例如，也许给一个对人工智能有高度积极看法的人一个聊天机器人，这个机器人的反应是中立的，甚至是稍微消极的，这样谈话就会更加平衡。

他们还希望利用他们所学到的知识来增强某些人工智能应用程序，比如心理健康治疗，在这些应用程序中，让用户相信人工智能是有同理心的可能是有益的。此外，他们还想进行一项长期研究，看看用户对人工智能代理的心理模型是如何随着时间的推移而变化的。

参考文献:“通过对人工智能的启动信念来影响人类与人工智能的互动，可以增加感知的可信度、同理心和有效性”，作者:Pat Pataranutaporn、Ruby Liu、Ed Finn和Pattie Maes, 2023年10月2日，《自然机器智能》。DOI: 10.1038 / s42256 - 023 - 00720 - 7

这项研究的部分资金由媒体实验室、哈佛-麻省理工健康科学与技术项目、埃森哲和KBTG提供。