这是用户在 2024-10-18 22:11 为 https://ar5iv.labs.arxiv.org/html/2304.03442?_immersive_translate_auto_translate=1 保存的双语快照页面,由 沉浸式翻译 提供双语支持。了解如何保存?


生成代理:人类行为的交互式模拟体

 朴俊成
斯坦福大学斯坦福美国
joonspk@stanford.edu
 约瑟夫·C·奥布莱恩
斯坦福大学斯坦福美国
jobrien3@stanford.edu
 蔡嘉丽
谷歌研究院山景城,加利福尼亚州,美国
cjcai@google.com
 梅雷迪思·林克尔·莫里斯
谷歌深度思维西雅图,华盛顿州,美国
merrie@google.com
Percy Liang
斯坦福大学斯坦福美国
pliang@cs.stanford.edu
 and   迈克尔·S·伯恩斯坦
斯坦福大学斯坦福美国
msb@cs.stanford.edu
(2023)
 摘要。


可信的人类行为代理可以赋能从沉浸式环境到人际沟通演练空间再到原型设计工具等广泛的交互应用。本文中,我们引入了生成式代理:模拟可信人类行为的计算软件代理。生成式代理会醒来、做早餐、去上班;艺术家绘画,作家写作;他们形成观点、互相注意并发起对话;他们回忆并反思过去的日子,以此规划未来。为实现生成式代理,我们描述了一种架构,该架构扩展了大型语言模型,以自然语言存储代理的完整经历记录,随着时间推移将这些记忆综合成更高层次的反思,并动态检索以规划行为。我们实例化了生成式代理,填充了一个受《模拟人生》启发的交互式沙盒环境,终端用户可以使用自然语言与一个由二十五个代理组成的小镇互动。在评估中,这些生成式代理展现出可信的个体及涌现的社会行为。 例如,从一个用户指定的概念开始,即一个代理想要举办情人节派对,代理们会在接下来的两天内自主地分发派对邀请,结识新朋友,互相邀请参加派对,并协调在正确的时间一起出席派对。我们通过消融实验证明,我们代理架构的组成部分——观察、规划和反思——各自对代理行为的可信度贡献至关重要。通过将大型语言模型与计算交互代理相结合,这项工作引入了实现可信人类行为模拟的架构和交互模式。


人机交互、智能体、生成式人工智能、大型语言模型
 期刊年份: 2023
版权:保留权利

会议:第 36 届 ACM 用户界面软件与技术年度研讨会;2023 年 10 月 29 日至 11 月 1 日;美国加利福尼亚州旧金山

书名:第 36 届 ACM 用户界面软件与技术研讨会(UIST ’23),2023 年 10 月 29 日至 11 月 1 日,美国加利福尼亚州旧金山
doi: 10.1145/3586183.3606763isbn: 979-8-4007-0132-0/23/10
ccs: 以人为中心的计算 交互系统和工具

ccs: 计算方法 自然语言处理
Refer to caption

图 1.生成式代理是交互应用中可信的人类行为模拟。在本研究中,我们通过在一个类似《模拟人生》的沙盒环境中填充二十五个代理来展示生成式代理。用户可以观察和干预,看代理们如何规划一天、分享新闻、建立关系以及协调集体活动。
 描述


生成式智能体填充的游戏世界截图。

 1.引言


我们如何构建一个能够反映可信人类行为的交互式人工社会?从《模拟人生》这样的沙盒游戏到认知模型(Card 等,1983)和虚拟环境(Laird 和 VanLent,2001;Bates,1994)等应用,四十多年来,研究人员和从业者一直设想能够作为人类行为可信代理的计算代理。在这些设想中,计算驱动的代理与其过往经验保持一致,并对环境作出可信反应。这种对人类行为的模拟可以在虚拟空间和社区中填充真实的社会现象(Dill 和 Martin,2011;Park 等,2022),训练人们在处理罕见但困难的人际情境(Tambe 等,1995;Jones 等,1999;Hollan 等,1984),测试社会科学理论(Binz 和 Schulz,2023;Horton,2023),为理论和可用性测试构建模型人类处理器(Card 等,1983;John 和 Kieras,1996;Hämäläinen 等,2023),以及驱动无处不在的计算应用(Fast 等。2016 年)和社会机器人(Bates, 1994; Bledsoe, 1986),并为非玩家游戏角色(Laird 和 VanLent, 2001; Riedl, 2012)提供基础,这些角色能在开放世界中驾驭复杂的人际关系。


然而,人类行为的空间广阔且复杂(Riedl, 2012; Yannakakis, 2012)。尽管在大语言模型方面取得了显著进展(Brown et al., 2020),这些模型能够在单一时间点模拟人类行为(Park et al., 2022; Hämäläinen et al., 2023),但确保长期连贯性的完全通用代理更适合采用能够管理不断增长的记忆的架构,这些记忆随着新互动、冲突和事件的产生与消逝而不断积累,同时处理在多个代理之间展开的级联社会动态。成功需要一种方法,能够在长时间内检索相关事件和互动,反思这些记忆以进行概括和推断更高层次的结论,并将这种推理应用于制定在当下及代理行为长期轨迹中都合理的计划和反应。


本文中,我们引入了生成式代理——这些代理利用生成模型来模拟可信的人类行为——并展示了它们能够生成可信的个体及群体涌现行为的模拟。生成式代理能够对其自身、其他代理及环境进行广泛的推断;它们制定反映其特性和经历的日常计划,执行这些计划,并在适当时作出反应和重新规划;当最终用户改变其环境或以自然语言下达指令时,它们会作出响应。例如,生成式代理在看到早餐烧焦时会关掉炉子,若浴室被占用则会在门外等候,并在遇到想与之交谈的另一代理时停下来聊天。

一个充满生成代理的社会以涌现的社会动态为特征,其中新的关系得以形成,信息得以传播,代理之间产生协调。


为了实现生成式代理,我们描述了一种代理架构,该架构能够存储、综合并应用相关记忆,通过大型语言模型生成可信行为。我们的架构包含三个主要组成部分。首先是记忆流,一个长期记忆模块,以自然语言记录代理的全面经历列表。记忆检索模型结合相关性、时效性和重要性,提取出指导代理即时行为的必要记录。其次是反思,它随着时间将记忆综合成更高层次的推断,使代理能够对自己和他人得出结论,从而更好地引导其行为。第三是规划,它将这些结论和当前环境转化为高层行动计划,并递归地细化为具体行为以应对行动和反应。这些反思和计划被反馈到记忆流中,以影响代理的未来行为。


这种架构暗示了其在多个领域的应用,从角色扮演和社会原型设计到虚拟世界和游戏。在社交角色扮演场景(例如,面试准备)中,用户可以安全地排练充满困难和冲突的对话。在原型设计社交平台时,设计师可以超越临时角色,设计出随时间展开的动态复杂互动。对于本文,我们专注于创建一个受《模拟人生》等游戏启发的小型互动智能体社会的能力。

通过将我们的架构与 ChatGPT 大型语言模型(OpenAI,2022)连接,我们在一个游戏环境中呈现了一个由二十五个代理组成的社会。终端用户可以观察并与这些代理互动。例如,如果终端用户或开发者希望小镇举办一场游戏内的情人节派对,传统的游戏环境需要手动编写数十个角色的行为脚本。我们展示了,借助生成式代理,只需简单地告诉一个代理她想要举办派对就足够了。尽管存在许多潜在的失败点——派对策划者必须记得邀请其他代理参加派对,受邀者必须记得邀请,记得的人必须决定实际出席,等等——我们的代理成功了。他们传播了派对的消息,然后纷纷到场,甚至有一个代理在派对上向另一个代理提出了约会的请求,这一切都源自一个用户生成的初始建议。


我们进行了两项生成代理的评估:一项是控制性评估,旨在测试代理在孤立状态下是否能产生可信的个体行为;另一项是端到端评估,代理们在两天游戏时间内以开放式方式相互交互,以了解其稳定性和涌现的社会行为。在技术评估中,我们利用一种方法论机会,通过自然语言“采访”代理,来评估其知识与行为,探究代理保持角色、记忆、规划、反应和反思的准确性。我们比较了几种限制代理访问记忆、反思和规划的消融实验。观察发现,这些组件在访谈任务中的强大表现中均至关重要。在技术和端到端评估中,最常见的错误发生在代理未能检索相关记忆、对代理记忆进行虚构修饰,或从语言模型继承过于正式的言语或行为时。


总之,本文做出以下贡献:


  • 生成代理,是基于代理不断变化的经验和环境动态调节的可信人类行为模拟体。


  • 一种新颖的架构,使生成式智能体能够记忆、检索、反思、与其他智能体互动,并通过动态演变的情境进行规划。该架构利用大型语言模型的强大提示能力,并补充这些能力以支持更长期的智能体一致性、管理动态演变的记忆能力,以及递归生成更高层次反思的能力。


  • 两项评估,一项是受控评估,另一项是端到端评估,旨在确立架构组件重要性的因果效应,并识别出由不当记忆检索等问题引发的故障。


  • 探讨生成代理在交互系统中的机遇及其伦理和社会风险。我们认为,这些代理应被调整以减轻用户形成拟社会关系的危险,记录以减轻源自深度伪造和定制说服的风险,并以补充而非取代设计过程中人类利益相关者的方式应用。

 2.相关工作


在本节中,我们回顾了人机交互领域的先前文献,并将其置于构建可信人类行为代理的议程之中。这一议程曾被视为交互、游戏和人工智能社区的北极星(Laird 和 VanLent,2001;Riedl,2012;Riedl 和 Young,2005;Bates,1994),但由于人类行为的复杂性(Brooks 等,2000;Yannakakis,2012),这一目标一直充满挑战。我们综合这些研究,提出大型语言模型虽非单独足以实现,但当采用适当架构加以利用时,为创造可信代理开辟了新的视角。

 2.1. 人机交互


交互式人工智能系统旨在将人类的洞察力和能力融入计算实体中,以增强用户的能力(Amershi 等,2014;Fails 和 Olsen Jr,2003)。一系列研究探索了使用户能够交互式地指定模型行为的方法。例如,Crayons 展示了交互式机器学习的早期愿景,允许非专业用户训练分类器(Fails 和 Olsen Jr,2003)。进一步的研究帮助阐明了终端用户如何通过示例(Fogarty 等,2008)或演示(Fiebrink 和 Cook,2010)向系统描述其分类目标。近期的进展已将这些探索扩展到深度学习(Lam 等,2023)和基于提示的创作(Jiang 等,2022;Wu 等,2022b;Liu 等,2022)。


与此同时,一项持续的研究线索推进了在人机交互中基于语言和代理的交互的案例。如 SHRDLU(Winograd, 1971)和 ELIZA(Weizenbaum, 1966)等开创性工作展示了与计算系统进行自然语言交互的机遇与风险。随着研究的深入,显而易见的是,自主代理可以为委托和交互提供新的隐喻(Maes, 1995),但人类与代理之间的委托界限一直是持续辩论和细化的主题(Shneiderman 和 Maes, 1997; Horvitz, 1999; Shneiderman, 2022)。最近,这项技术已达到一定程度的稳定性,使得代理能够在大型且复杂的在线社交环境中通过自然语言进行交互(例如,Krishna 等人, 2022)。自然语言交互提供了一种新颖的模式,可以增强用户在照片编辑(Linder 等人, 2013; Fourney 等人, 2011; Adar 等人, 2014)和代码编辑(Rong 等人, 2016)等领域的技能。


我们将这些工作线索汇聚起来,以展示我们现在能够创建代理,为交互系统代理人类行为,并使用自然语言与它们进行交互。在此过程中,这项工作重新开启了探讨基础人机交互问题的门户,这些问题围绕认知模型如 GOMS 和击键层次模型(KLM)(Card 等,1983,1980),围绕原型工具(Park 等,2022),以及围绕普适计算应用(Weiser,1991;Dey,2001;Fast 等,2016)。


2.2. 可信的人类行为代理


先前的文献将可信度,或称可信代理,描述为设计和工程的核心目标。可信代理旨在提供一种生命幻象,并在其看似自主决策和行动的方式上呈现出真实性的表象,类似于迪士尼电影中的角色(Bates, 1994; Thomas and Johnston, 1981)。这些代理能够填充并感知一个开放世界环境,如同我们所处的世界(Laird and VanLent, 2001; Bates, 1994),并努力表现出基于与用户或其他代理的社会互动而产生的涌现行为,旨在成为我们在假设个体和社区模拟中行为的可信代理(McCoy et al., 2012; Burkinshaw, 2009; Francis, 2010)。历史上,这些代理是在智能游戏非玩家角色(NPCs)的背景下开发的(Laird and VanLent, 2001; Riedl, 2012)。如果可能,创造具有可信行为的 NPC 可以增强玩家在游戏和互动小说中的体验,通过实现涌现叙事(Swartout et al.(Zubek, 2002)。然而,更重要的是,游戏世界提供了越来越逼真的现实世界功能性再现,正如 Laird 和 van Lent 在 2001 年所观察到的,这些模拟世界为可信代理的开发者提供了一个便捷的测试平台,使他们能够精炼代理的认知能力,而无需担心在现实世界中实施机器人技术或从头开始创建模拟环境(Laird and VanLent, 2001; Riedl, 2012)。


过去四十年间,涌现出多种创建可信代理的方法。然而在实际应用中,这些方法往往简化环境或代理行为维度,以使工作更具可操作性(Brooks et al., 2000; Minsky and Papert, 1970)。基于规则的方法,如有限状态机(Siu et al., 2021; Umarov et al., 2012)和行为树(Knafla, 2011; Pillosu, 2009; Hecker, 2011),体现了人类编写代理行为的蛮力方法(McCoy et al., 2012)。它们提供了一种直接创建简单代理的方式,至今仍是最主流的方法(McCoy et al., 2009; Miyashita et al., 2017; Yannakakis, 2012),甚至能处理基本的社会互动,如《质量效应》(BioWare, 2007)和《模拟人生》(Arts, 2009)系列游戏所示。尽管如此,手动设计能全面应对开放世界中所有可能互动的行为是不可行的。这意味着生成的代理行为可能无法完全反映其互动的后果(McCoy et al.(Siu 等人,2012,2011a,2011b),并且无法执行脚本中未硬编码的新程序(Siu 等人,2021;Umarov 等人,2012)。另一方面,流行的基于学习的方法用于创建可信代理,如强化学习,通过让代理学习其行为,克服了手动编写行为的挑战,并在近年来在星际争霸的 AlphaStar(Vinyals 等人,2019)和 Dota 2 的 OpenAI Five(Berner 等人,2019)等游戏中取得了超越人类的表现。然而,它们的成功主要集中在具有易于定义奖励的对抗性游戏中,学习算法可以针对这些奖励进行优化。它们尚未解决在开放世界中创建可信代理的挑战(Siu 等人,2021;Miyashita 等人,2017;Hausknecht 等人,2020)。


纽厄尔开创的计算认知架构旨在构建支持一系列全面认知功能的基础设施(Newell, 1990),以适应其最初愿景中可信代理的包罗万象的特性。这些架构催生了早期可信代理的一些实例。例如,Quakebot-SOAR(Laird, 2000)和 ICARUS(Langley et al., 2005; Choi et al., 2021)在第一人称射击游戏中生成了 NPC,而 TacAir-SOAR(Pew and Mavor, 1998)则在空战训练模拟中生成了飞行员。这些代理使用的架构有所不同(Quakebot 和 TacAir-SOAR 依赖于 SOAR(Laird, 2012),而 ICARUS 则基于受 SOAR 和 ACT-R(Anderson, 1993)启发的变体),但它们共享相同的基本原则(Laird et al., 2017)。它们维持短期和长期记忆,用符号结构填充这些记忆,并在感知-计划-行动周期中运作,动态感知环境并将其与手动编制的行动程序之一匹配(Umarov et al., 2012; Laird, 2001)。 使用认知架构创建的代理旨在可推广至大多数(即使不是全部)开放世界情境,并在其时代表现出稳健的行为。然而,它们的行为空间局限于手工构建的过程性知识,且未提供一种机制,使代理能够受到启发去寻求新行为。因此,这些代理大多部署在非开放世界情境中,如第一人称射击游戏(Laird, 2000; Choi et al., 2021)或积木世界(Langley et al., 2005)。


如今,按照其原始定义创建可信的代理仍然是一个开放性问题(Yannakakis, 2012; Riedl, 2012)。许多人已经转向其他方向,认为尽管当前创建可信代理的方法可能繁琐且有限,但它们足以支持现有的游戏玩法和互动(Yannakakis, 2012; Champandard, 2012; Nareyek, 2007)。我们的观点是,大型语言模型提供了一个重新审视这些问题的机会,前提是我们能够设计出一种有效的架构,将记忆合成为可信的行为。本文为此类架构的构建迈出了一步。


2.3.大型语言模型与人类行为


生成代理利用大型语言模型来驱动其行为。关键观察在于,大型语言模型通过其训练数据编码了广泛的人类行为(Brown et al., 2020; Bommasani et al., 2022)。若在狭义定义的上下文中进行提示,模型可用于生成可信的行为。近期研究已证明了此方法的有效性。例如,社交模拟体利用大型语言模型生成用户,以填充新社交计算系统,从而原型化其涌现的社会动态(Park et al., 2022)。该方法采用提示链(Wu et al., 2022a, b)生成简短的自然语言描述,描绘角色及其在原型系统中的行为。其他实证研究则复现了现有的社会科学研究(Horton, 2023)、政治调查(Sorensen et al., 2022),并生成了合成数据(Hämäläinen et al., 2023)。大型语言模型还被用于生成用户可与之互动的人类行为。 例如,在游戏领域,这些模型已被用于创建互动小说(Freiknecht 和 Effelsberg,2020)和文字冒险游戏(Callison-Burch 等,2022)。凭借其生成和分解动作序列的能力,大型语言模型还用于规划机器人任务(Huang 等,2022)。例如,当面对一项任务,如拿起一个瓶子时,模型会被提示将任务分解为更小的动作序列,如前往瓶子所在的桌子并将其拿起。


我们提出,基于上述总结的工作,大型语言模型可以成为创造可信代理的关键要素。现有文献主要依赖于可视为一阶模板的策略,这些模板采用少样本提示(Gao 等,2020;Liu 等,2021)或思维链提示(Wei 等,2023)。这些模板在生成仅依赖于代理当前环境的行为方面是有效的(例如,一个喷子会如何回应特定帖子,一个机器人需要采取哪些行动才能进入一间有门的房间)。然而,可信代理不仅需要根据当前环境进行条件化,还需要根据大量过往经验进行条件化,这对一阶提示来说并不合适(且由于底层模型有限的上下文窗口,这在今天是不可能实现的)。最近的研究试图通过增强语言模型与静态知识库和信息检索机制(Khattab 等,2023)或简单的总结机制(Wu 等,2021)来超越一阶提示。 本文将这些思想扩展,设计了一种智能体架构,用于处理检索任务,其中过往经验在每个时间步动态更新,并与智能体的当前上下文和计划混合,这些上下文和计划可能相互强化或相互矛盾。

Refer to caption

图 2. 小维尔小镇沙盒世界,各区域标注。根节点描述整个世界,子节点描述区域(如房屋、咖啡馆、商店),叶节点描述物体(如桌子、书架)。代理记住一个子图,反映它们所见世界部分,并保持这些部分的状态,如同它们观察到的那样。
 描述


游戏世界的标注地图。


3.生成代理行为与交互


为了展示生成式代理的功能,我们将其实例化为一个简单沙盒世界中的角色,类似于《模拟人生》(Arts, 2009)。这个基于精灵的沙盒游戏世界——小维尔,唤起了一个小镇环境的氛围。在本节中,我们将详细介绍小维尔中生成式代理的功能及其互动方式,并描述代理在此环境中的行为表现。随后,在第 4 节中,我们将介绍驱动这些功能和互动的生成式代理架构。在第 5 节中,我们将描述沙盒环境的实现方式以及代理如何与沙盒世界的基础引擎进行交互。


3.1. 代理化身与沟通


一个由 25 个独特个体组成的社区居住在小维尔。每个个体由一个简单的精灵化身代表。我们为每个个体撰写了一段自然语言描述,以描绘其身份,包括职业及其与其他个体的关系,作为种子记忆。例如,约翰·林的描述如下:


约翰·林是柳树市场和药房的药房店主,他乐于助人。他总是寻找方法让顾客获取药物的过程更加简便;约翰·林与妻子梅·林(一位大学教授)和儿子艾迪·林(一名学习音乐理论的学生)生活在一起;约翰·林非常爱他的家人;约翰·林与隔壁的老夫妇山姆·摩尔和詹妮弗·摩尔相识已有几年;约翰·林认为山姆·摩尔是个善良的好人;约翰·林与邻居尤里科·山本颇为熟悉;约翰·林听说过邻居塔玛拉·泰勒和卡门·奥尔蒂斯,但未曾谋面;约翰·林和汤姆·莫雷诺是柳树市场和药房的同事;约翰·林和汤姆·莫雷诺是朋友,喜欢一起讨论当地政治;约翰·林对莫雷诺一家有一定了解——丈夫汤姆·莫雷诺和妻子简·莫雷诺。


每个分号分隔的短语在模拟开始时作为记忆输入到代理的初始记忆中。


3.1.1. 代理间通信


代理通过其行动与世界互动,并通过自然语言相互交流。在沙盒引擎的每个时间步,代理输出一个自然语言陈述,描述其当前动作,例如“Isabella Rodriguez 正在写日记”,“Isabella Rodriguez 正在查看她的电子邮件”,“Isabella Rodriguez 正在通过电话与家人交谈”,或“Isabella Rodriguez 正在准备睡觉”。此陈述随后被转化为影响沙盒世界的具体动作。该动作在沙盒界面上以一组表情符号显示,从俯视角度提供动作的抽象表示。为实现这一点,系统利用语言模型将动作翻译成一组表情符号,这些表情符号出现在每个化身头顶的对话气泡中。例如,“Isabella Rodriguez 正在写日记”显示为,而“Isabella Rodriguez 正在查看她的电子邮件”显示为。通过点击代理的化身,可以访问动作的完整自然语言描述。


代理之间以完全自然语言进行交流。它们能感知到本地区域内的其他代理,而生成代理架构决定了它们是擦肩而过还是展开对话。以下是代理 Isabella Rodriguez 和 Tom Moreno 关于即将到来的选举的对话片段:3

Isabella
伊莎贝拉:我还在权衡选择,但我一直在和山姆·摩尔讨论选举事宜。你对他的看法如何?


汤姆:老实说,我不喜欢山姆·摩尔。我认为他与社区脱节,并不真正关心我们的利益。

 3.1.2.用户控制


用户通过自然语言与代理进行交流,并通过指定一个代理应将其视为的角色来实现。例如,如果用户指定自己是一名新闻“记者”,并询问即将到来的选举时说:“谁在竞选公职?”,John 代理会回答:


约翰:我和我的朋友由里子、汤姆一直在讨论即将到来的选举,以及候选人山姆·摩尔。我们都决定投票给他,因为我们喜欢他的政纲。


为了直接指挥某一代理人,用户需扮演该代理人的“内心声音”——这使得代理人更倾向于将该陈述视为指令。例如,当用户以约翰的内心声音告知“你将在即将到来的选举中与山姆竞选”时,约翰决定参选,并将其参选决定告知妻子和儿子。


3.2.环境交互


小维尔村拥有一个小村庄的常见便利设施,包括咖啡馆、酒吧、公园、学校、宿舍、住宅和商店。它还定义了使这些空间具备功能的子区域和物体,例如房屋中的厨房和厨房中的炉灶(图 2)。所有作为代理人主要生活区的空间都配备有床、书桌、衣柜、书架,以及浴室和厨房。


代理在 Smallville 中移动,如同在简单的视频游戏中一样,进出建筑物,浏览地图,并接近其他代理。代理的移动由生成代理架构和沙盒游戏引擎指导:当模型指示代理将移动到某个位置时,我们在 Smallville 环境中计算出一条步行路径到达目的地,代理随即开始移动。此外,用户也可以作为代理进入 Smallville 的沙盒世界。用户所扮演的代理可以是世界中已有的角色,如 Isabella 和 John,也可以是没有任何 Smallville 历史背景的外来访客。Smallville 的居民对待用户控制的代理与对待彼此并无二致。他们会识别其存在,发起互动,并根据其行为形成对其的看法。


用户和代理可以影响这个世界上对象的状态,就像在《模拟人生》等沙盒游戏中一样。例如,当一个代理在睡觉时,床可以被占用,而当代理用完食材做早餐时,冰箱可以变空。终端用户还可以通过用自然语言重写代理周围对象的状态,来重塑 Smallville 中代理的环境。例如,当 Isabella 早上在做早餐时,用户可以通过输入命令将厨房炉灶的状态从“打开”改为“燃烧”,命令选择对象并描述其新状态,如下所示:“¡Isabella 的公寓:厨房:炉灶¿正在燃烧。”Isabella 会在下一刻注意到这一点,并去关掉炉灶,重新做早餐。同样,如果用户在 Isabella 进入浴室时将她的淋浴状态设置为“漏水”,她会从客厅收集工具并尝试修理漏水。

Refer to caption

图 3.生成式代理 John Lin 的一天早晨。John 大约在早上 6 点醒来,完成他的晨间例行程序,包括刷牙、洗澡和吃早餐。在出门开始工作日前,他简短地与妻子 Mei 和儿子 Eddy 交流。
 描述


林家的晨间日常。

Refer to caption

图 4. 在模拟开始时,一名代理被初始化,其意图是组织一个情人节派对。尽管在随后的事件链中存在许多可能的失败点——代理可能不会采取行动,可能忘记告知他人,可能不记得出席——情人节派对实际上确实发生了,有多个代理聚集并进行互动。
 描述


霍布斯咖啡馆的情人节派对。


3.3. “一日生活”示例


从单段描述出发,生成式代理开始规划他们的一天。随着沙盒世界中的时间流逝,他们的行为在与彼此和世界的互动中不断演变,构建记忆和关系,并协调共同活动。


我们通过追踪系统在一整天内为代理 John Lin(图 3)的输出,展示了生成代理的行为。在 Lin 家族中,John 是第一个在早上 7 点醒来的。他刷牙、洗澡、穿衣、吃早餐,并在客厅的餐桌旁查看新闻。早上 8 点,Eddy 紧随其后,匆忙起床准备上课。他正好在 John 即将出门时赶上了他:

John
约翰:早上好,艾迪。昨晚睡得好吗?

Eddy
艾迪:早上好,爸爸。是的,我睡得很好。

John
约翰:那很好。你今天在忙什么?

Eddy
艾迪:我正在为我的班级创作一首新乐曲。这周就要交了,所以我正努力完成它。不过,我玩得可开心了!

 约翰:听起来很棒!


埃迪刚一出门,梅就醒了并加入约翰。梅询问起她的儿子,约翰回想起他们刚刚的对话:

Mei
梅:艾迪已经去上学了吗?

John
约翰:是的,他刚走。他在为他的班级创作一首音乐作品。

Mei
梅:哦,太棒了!跟我说说吧。

John
约翰:我觉得他真的很享受!他说他玩得很开心。


梅:太棒了!我为他感到非常骄傲。


当他们的对话结束时,梅和约翰开始收拾东西。梅继续去教学并撰写她的研究论文,而约翰则在上午 9 点前打开了柳树市场和药店的药房柜台。

Refer to caption

图 5. 我们的生成代理架构。代理感知其环境,所有感知结果都保存在一个称为记忆流的代理经验综合记录中。基于这些感知,架构检索相关记忆并利用这些检索到的行动来确定一个行动。这些检索到的记忆还用于形成长期计划和创建更高层次的反思,这两者都被输入记忆流以供未来使用。
 描述


生成式代理的架构。


3.4. 涌现的社会行为


通过相互交流,Smallville 中的生成代理交换信息、建立新关系并协调共同活动。在先前研究(Park 等,2022)的基础上,这些社会行为是自发涌现而非预先编程的。


3.4.1.信息扩散


当代理人注意到彼此的存在时,他们可能会进行对话——在此过程中,信息可以从一个代理人传递到另一个代理人。例如,在杂货店中,Sam 和 Tom 之间的交谈中,Sam 向 Tom 透露了自己参与当地选举的消息:

Sam
山姆:嘿,汤姆,最近怎么样?

Tom
汤姆:很好,谢谢。怎么了?

Sam
山姆:嗯,我想跟你谈件事。实际上,我正在参加即将到来的地方选举,竞选市长。

Tom
汤姆:真的吗?这真是太好了!你为什么跑步?


山姆:我参与地方政治已有多年,真心觉得能为社区带来改变。此外,我希望能在讨论中引入新的想法和视角。

John
约翰:我听说山姆·摩尔正在参加本地选举的市长竞选。你觉得他获胜的机会大吗?

Tom
汤姆:我确实认为他有很大机会。他在社区里一直很努力,我想他会得到很多支持。你怎么看?


约翰:我觉得他参选很棒。我很想知道选举结果会如何。


渐渐地,山姆的候选人资格成为了全城热议的话题,有人支持他,也有人仍持观望态度。


3.4.2.关系记忆


小维尔的居民们随着时间推移会建立新的关系,并记住与其他居民的互动。例如,起初,山姆并不认识拉托亚·威廉姆斯。在约翰逊公园散步时,山姆偶遇了拉托亚,两人互相介绍。拉托亚提到她正在做一个摄影项目:“我来这里是为了拍摄一些照片,我正在做一个项目。”在随后的互动中,山姆与拉托亚的交流表明他记得那次互动,他问道:“嗨,拉托亚。你的项目进展如何?”她回答说:“嗨,山姆。进展顺利!”

 3.4.3.协调


生成代理相互协调。Isabella Rodriguez 在霍布斯咖啡馆被初始化,意图是策划一场从 2 月 14 日下午 5 点到 7 点的情人节派对。以此为起点,代理人在看到朋友或顾客时,无论是在霍布斯咖啡馆还是其他地方,都会邀请他们参加。Isabella 随后在 13 日下午为派对装饰咖啡馆。Maria,一位常客兼 Isabella 的密友,来到咖啡馆。Isabella 请求 Maria 帮忙装饰派对场地,Maria 欣然同意。Maria 的角色描述中提到她暗恋 Klaus。当晚,Maria 邀请她暗恋的对象 Klaus 参加派对,Klaus 欣然接受。


情人节当天,包括克劳斯和玛丽亚在内的五位特工于下午 5 点现身霍布斯咖啡馆,并乐享其中(图 4)。在此情境中,终端用户仅设定了伊莎贝拉举办派对的初始意图以及玛丽亚对克劳斯的倾慕之情:传播消息、装饰场地、相互邀约、抵达派对及派对上的互动等社交行为,皆由代理架构自发启动。


4.生成代理架构


生成代理旨在为开放世界中的行为提供一个框架:能够与其他代理进行交互并对环境变化做出反应。生成代理将其当前环境和过往经验作为输入,并生成行为作为输出。这种行为的基础是一种新颖的代理架构,它将大型语言模型与综合和检索相关信息的机制相结合,以调节语言模型的输出。没有这些机制,大型语言模型虽然可以输出行为,但生成的代理可能不会基于过去的经验做出反应,可能无法进行重要的推理,并且可能无法保持长期的一致性。即使使用如 GPT-4 这样的当今最先进模型,长期规划和一致性方面的挑战依然存在(Bubeck 等,2023)。由于生成代理产生大量的事件和记忆需要保留,我们架构的核心挑战在于确保在需要时能够检索和综合代理记忆中最相关的部分。


我们架构的核心是记忆流,这是一个数据库,用于全面记录代理的经验。从记忆流中,检索与规划代理行为和适当响应环境相关的记录。这些记录被递归地综合成更高层次的反思,以指导行为。架构中的所有内容都以自然语言描述的形式记录和推理,从而使架构能够利用大型语言模型。


我们当前的实现采用了 ChatGPT 的 gpt3.5-turbo 版本(OpenAI, 2022)。我们预计,随着语言模型的进步,生成式代理的架构基础——记忆、规划和反思——很可能保持不变。更新的语言模型(如 GPT-4)将继续扩展支撑生成式代理的提示的表达能力和性能。然而,截至撰写本文时,GPT-4 的 API 仅限邀请使用,因此我们的代理使用 ChatGPT。

Refer to caption

图 6. 记忆流包含大量与智能体当前情境相关和不相关的观察结果。检索过程识别出这些观察结果的一个子集,应将其传递给语言模型,以调整其对情境的响应。
 描述


左边是一长串事件列表,如“冰箱空闲”。右边则是问题“你现在最期待什么?”,随后是检索计算,将“订购派对装饰品”和“研究派对创意”排在前列。基于这些记忆,Isabella 回答道:“我最期待的是在 Hobbs Cafe 策划的情人节派对!”

 4.1. 记忆与检索

 挑战:


创建能够模拟人类行为的生成代理需要对一系列经验进行推理,这些经验远超提示中应描述的范围,因为完整的记忆流会分散模型的注意力,甚至目前也无法完全适应有限的上下文窗口。以 Isabella 代理回答“你最近热衷于什么?”这一问题为例。将 Isabella 的所有经历总结以适应语言模型的有限上下文窗口,会产生一个信息量不足的回答,Isabella 在其中讨论了诸如活动和项目的合作、咖啡馆的清洁与组织等话题。相反,下文描述的记忆流提取了相关记忆,从而产生了一个更具信息量且具体的回答,提及了 Isabella 对让人感到受欢迎和包容的热情,以及她策划活动和营造人们乐于享受的氛围,如情人节派对。

 方法:


记忆流维护着代理经验的全面记录。它是一个记忆对象列表,每个对象包含自然语言描述、创建时间戳和最近访问时间戳。记忆流的最基本元素是观察,即代理直接感知的事件。常见的观察包括代理自身执行的行为或代理感知到的其他代理或非代理对象执行的行为。例如,在咖啡店工作的 Isabella Rodriguez 可能会随着时间积累以下观察:(1) Isabella Rodriguez 正在摆放糕点,(2) Maria Lopez 正在边喝咖啡边为化学考试复习,(3) Isabella Rodriguez 和 Maria Lopez 正在讨论在 Hobbs Cafe 策划情人节派对,(4) 冰箱是空的。


我们的架构实现了一个检索功能,该功能以代理的当前情境为输入,并返回记忆流的子集以传递给语言模型。检索功能的实现方式多种多样,取决于代理在决定如何行动时需要考虑的重要因素。在我们的情境中,我们聚焦于三个主要组件,它们共同作用,产生有效结果。


时效性为最近访问过的记忆对象赋予更高的分数,使得刚刚发生或今早的事件更有可能保持在主体的关注范围内。在我们的实现中,我们将时效性视为自上次检索记忆以来沙盒游戏小时数的指数衰减函数。我们的衰减因子为 0.9950.9950.995


重要性通过赋予代理认为重要的记忆对象更高的分数,来区分日常记忆与核心记忆。例如,像在房间里吃早餐这样的日常事件会得到低重要性分数,而与重要他人的分手则会得到高分。重要性分数有许多可能的实现方式;我们发现,直接要求语言模型输出一个整数分数是有效的。完整的提示如下:


在 1 到 10 的范围内,其中 1 代表纯粹的日常琐事(如刷牙、整理床铺),10 代表极其深刻的事件(如分手、大学录取),请评估以下记忆片段可能的深刻程度。


记忆:在柳树市场与药店购买杂货

 评分: <填写>


此提示为“整理房间”返回整数值 2,为“邀请暗恋对象约会”返回 8。重要性评分在记忆对象创建时生成。


相关性为与当前情境相关的记忆对象赋予更高的分数。相关性取决于“对什么相关?”的答案,因此我们将相关性条件化于查询记忆上。例如,如果查询是学生与同学讨论化学考试的复习内容,那么关于他们早餐的记忆对象应具有较低的相关性,而关于教师和学业的记忆对象则应具有较高的相关性。在我们的实现中,我们利用语言模型生成每个记忆文本描述的嵌入向量,然后计算相关性为记忆嵌入向量与查询记忆嵌入向量之间的余弦相似度。


为计算最终检索得分,我们将时效性、相关性和重要性评分通过最小-最大缩放法归一化至 [0,1]01[0,1] 范围内。检索函数将所有记忆的评分视为这三个要素的加权组合: score=αrecencyrecency+αimportanceimportance+αrelevancerelevancesubscriptsubscriptsubscriptscore=\alpha_{recency}\cdot recency+\alpha_{importance}\cdot importance+\alpha_{relevance}\cdot relevance 。在我们的实现中,所有 α\alpha 均设为 1。符合语言模型上下文窗口要求的高排名记忆将被纳入提示中。

 4.2. 反射

Refer to caption

图 7. 克劳斯·穆勒的反思树。代理对世界的观察,体现在叶节点中,被递归地综合以推导出克劳斯关于自己高度致力于研究的自我认知。
 描述

 反射树。

 挑战:


生成式代理在仅配备原始观察记忆的情况下,难以进行概括或推理。设想一个场景,用户询问 Klaus Mueller:“如果你必须从你认识的人中选择一个共度一小时,你会选谁?”仅依靠观察记忆,代理简单地选择了与 Klaus 互动最频繁的人:Wolfgang,他的大学宿舍邻居。然而,不幸的是,Wolfgang 和 Klaus 仅在路过时偶尔相遇,并无深入交流。一个更理想的回答需要代理从 Klaus 花费数小时进行研究项目的记忆中进行概括,生成更高层次的反思,即 Klaus 对研究充满热情,同时识别出 Maria 也在自己的研究领域(尽管是不同领域)投入努力,从而得出他们共享共同兴趣的结论。采用以下方法后,当 Klaus 被问及与谁共度时光时,他会选择 Maria 而非 Wolfgang。

 方法:


我们引入了一种新型的记忆,称之为“反思”。反思是代理生成的更高层次、更抽象的思想。由于它们属于记忆的一种,因此在检索时与其他观察结果一并被纳入。反思是周期性生成的;在我们的实现中,当代理感知到的最新事件的重要性评分总和超过一个阈值(在我们的实现中为 150)时,就会生成反思。实际上,我们的代理大约每天进行两到三次反思。


反思的第一步是让主体确定反思的内容,通过识别基于主体最近经历可以提出的问题。我们向大型语言模型查询主体记忆流中的最近 100 条记录(例如,“克劳斯·穆勒正在阅读一本关于绅士化的书”,“克劳斯·穆勒正在与图书馆员讨论他的研究项目”,“图书馆的桌子目前无人占用”),并提示语言模型:“仅基于上述信息,我们可以回答关于陈述中主体的哪三个最重要的高层次问题?”模型响应生成候选问题:例如,克劳斯·穆勒对什么话题充满热情?以及克劳斯·穆勒与玛丽亚·洛佩兹之间的关系是什么?我们使用这些生成的问题作为检索查询,并为每个问题收集相关记忆(包括其他反思)。然后,我们提示语言模型提取见解,并引用作为见解证据的特定记录。完整提示如下:


关于克劳斯·穆勒的陈述


1. 克劳斯·穆勒正在撰写一篇研究论文


2. 克劳斯·穆勒正在阅读一本关于绅士化的书籍。 3. 克劳斯·穆勒正在与阿伊莎·汗讨论锻炼事宜。 [...] 从上述陈述中,你能推断出哪五个高层次的见解?(示例格式:见解(因为 1, 5, 3))


此过程生成诸如“克劳斯·穆勒致力于其关于绅士化的研究(由于 1、2、8、15)”的陈述。我们将该陈述解析并作为记忆流中的一个反思存储,包括指向所引用记忆对象的指针。


反思明确允许主体不仅对其观察进行反思,还能对其他反思进行思考:例如,上述关于克劳斯·穆勒的第二条陈述是他先前的反思,而非来自其环境的观察。因此,主体生成反思树:树的叶节点代表基础观察,而非叶节点则代表随着在树中位置上升而变得更加抽象和高层级的思想。


4.3. 规划与反应

 挑战:


尽管大型语言模型能够根据情境信息生成看似合理的行为(例如,(Park et al., 2022; Horton, 2023)),但智能体需要进行长期规划,以确保其行动序列既连贯又可信。如果我们以 Klaus 的背景为提示,描述时间,并询问他在特定时刻应采取的行动,Klaus 会在 12 点吃午餐,然后在 12:30 和 1 点再次吃午餐,尽管他已经吃过两次午餐。为了在当下显得可信,牺牲了时间上的可信性。要解决这一问题,规划至关重要。通过以下方法,Klaus 的下午计划不再显得贪吃:他在 12 点在 Hobbs Cafe 边阅读边吃午餐,1 点在学校图书馆继续研究论文,3 点则在公园散步休息。

 方法:


计划描述了主体未来一系列行动的顺序,并有助于保持主体行为随时间的一致性。一个计划包括地点、开始时间和持续时间。例如,克劳斯·穆勒,他全身心投入研究且面临紧迫的截止日期,

可能会选择在书桌前工作一整天来撰写研究论文。计划中的一项条目可能会这样记录:2023 年 2 月 12 日,上午 9 点起 180 分钟内,在橡树山学院宿舍:克劳斯·穆勒的房间:书桌,阅读并做笔记以进行研究论文。与反思一样,计划也存储在记忆流中,并纳入检索过程。这使得代理在决定如何行动时,能够综合考虑观察、反思和计划。如有需要,代理可能会中途调整计划。


对于一位艺术家代理人而言,计划在药房柜台连续静坐四小时不移动地作画既不现实也无趣。一个更可取的计划应包括代理人在这四小时内,在家中工作室里抽出必要时间收集材料、调配颜料、休息以及清理。为制定此类计划,我们的方法先从宏观层面入手,然后递归地细化。第一步是制定一个概述全天安排的计划。为创建初始计划,我们向语言模型提供代理人的简要描述(如姓名、特质及其近期经历的概述)以及前一天的总结。以下是一个完整的示例提示,底部留空供语言模型完成:


姓名:林逸(年龄:19 岁)


先天特质:友善、外向、好客


林逸是橡树山学院的一名学生,主修音乐理论与作曲。他热衷于探索不同的音乐风格,并始终寻求拓展知识的方法。林逸正在为他的大学课程进行一项作曲项目。他正在上课以深入学习音乐理论。林逸对正在创作的新作品感到兴奋,但他希望在接下来的日子里能投入更多时间来完成它。2 月 12 日星期二,林逸 1) 早上 7 点醒来并完成了晨间例行,[...] 6) 大约晚上 10 点准备睡觉。今天是 2 月 13 日星期三。以下是林逸今天的大致计划:1)


这生成了一个关于代理一天计划的粗略草图,分为五到八个部分:“1) 早上 8:00 醒来并完成晨间例行,2) 上午 10:00 前往橡树山学院上课,[…] 5) 下午 1:00 至 5:00 进行新音乐作品的创作,6) 下午 5:30 用餐,7) 完成学校作业并于晚上 11:00 前就寝。”


代理将此计划存储在内存流中,然后递归地将其分解以创建更细粒度的行动,首先分解为每小时为单位的行动块——Eddy 从下午 1 点到 5 点进行新音乐创作的计划变为:1:00 pm:开始为他的音乐创作集思广益[…] 4:00 pm:稍作休息,恢复创作能量,然后回顾并润色他的作品。接着,我们再次递归地将这些行动分解为 5 到 15 分钟的片段:例如,4:00 pm:抓取一些轻食,如水果、格兰诺拉麦片棒或坚果。4:05 pm:在他的工作区域附近短暂散步[…] 4:50 pm:花几分钟整理他的工作区域。此过程可根据所需粒度进行调整。


4.3.1. 反应与更新计划


生成式代理在动作循环中运行,每个时间步,它们感知周围世界并将这些感知到的观察结果存储在记忆流中。我们利用这些观察结果提示语言模型,以决定代理是继续执行现有计划还是做出反应。例如,站在画架前绘画可能会触发对画架的观察,但这不太可能引发反应。然而,如果 Eddy 的父亲 John 记录下他看到 Eddy 在屋内花园进行短暂散步,结果则不同。提示如下,其中[代理的总结描述]代表一个动态生成的、段落长的代理总体目标和倾向的总结,详见附录 A:


[代理的摘要描述]


2023 年 2 月 13 日,下午 4:56。


约翰·林的状态:约翰提前下班回家。观察:约翰看到艾迪在他工作地点附近散步。约翰记忆中相关情境的总结:艾迪·林是约翰的儿子。艾迪·林一直在为他的班级创作音乐作品。艾迪·林喜欢在思考或听音乐时在花园里散步。约翰是否应该对这一观察做出反应,如果需要,什么样的反应是合适的?


上下文摘要通过两个提示生成,这些提示通过查询“[观察者]与[被观察实体]的关系是什么?”和“[被观察实体]处于[被观察实体的动作状态]”来检索记忆,并将它们的答案汇总在一起。输出结果表明,John 可以考虑向 Eddy 询问他的音乐创作项目。随后,我们从反应发生的时间点开始重新生成代理的现有计划。最后,如果动作表明代理之间存在互动,我们将生成他们的对话。

 4.3.2.对话


代理在相互交互时进行对话。我们通过根据代理对彼此的记忆来生成他们的对话。例如,当 John 与 Eddy 开始对话时,我们通过使用 John 对 Eddy 的总结性记忆以及他在决定询问 Eddy 关于其作文项目时的预期反应,来生成 John 的第一句话:


[代理的摘要描述]


2023 年 2 月 13 日,下午 4:56。


约翰·林的状态:约翰提前下班回家了。观察:约翰看到艾迪在他工作地点附近散步。约翰记忆中相关情境的总结:艾迪·林是约翰的儿子。艾迪·林一直在为他的班级创作音乐作品。艾迪·林喜欢在思考或听音乐时在花园里散步。约翰正在询问艾迪关于他的音乐创作项目。他会对艾迪说什么?


结果是:“嘿,Eddy,你班上的音乐创作项目进展如何?” 从 Eddy 的角度来看,John 发起对话被视为一个他可能想要回应的事件。因此,就像 John 所做的那样,Eddy 提取并总结了他与 John 的关系记忆,以及可能与 John 在对话中最后发言相关的记忆。如果他决定回应,我们会根据他总结的记忆和当前的对话历史生成 Eddy 的回答:


[代理的摘要描述]


2023 年 2 月 13 日,下午 4:56。


Eddy Lin 的状态:Eddy 正在工作场所附近散步。观察:John 正在与 Eddy 开始对话。Eddy 记忆中相关情境的摘要:John Lin 是 Eddy Lin 的父亲。John Lin 关心且有兴趣了解 Eddy Lin 的学业情况。John Lin 知道 Eddy Lin 正在创作一首音乐作品。以下是对话历史:John:嘿 Eddy,你班上的音乐创作项目进展如何?Eddy 会如何回应 John?


这生成了 Eddy 的回应:“嘿,爸爸,一切顺利。我一直在花园里散步,以理清思绪并获取一些灵感。”这段对话的延续是使用相同的机制生成的,直到其中一方决定结束对话。


5.沙盒环境实现


Smallville 沙盒游戏环境是使用 Phaser 网页游戏开发框架构建的(Labs, 2023)。包括代理化身在内的视觉环境精灵,以及我们创作的环境地图和碰撞地图,都被导入到 Phaser 中。


我们通过一个服务器来补充沙盒开发框架,该服务器使沙盒信息对生成式代理可用,并使生成式代理能够移动并对沙盒环境产生影响。服务器维护一个包含沙盒世界中每个代理信息的 JSON 数据结构,包括其当前位置、当前行动的描述以及他们正在交互的沙盒对象。在每个沙盒时间步长中,沙盒服务器解析来自生成式代理的任何变化的 JSON,将代理移动到新位置,并更新代理正在交互的任何沙盒对象的状态(例如,如果代理的行动是“在 Hobbs 咖啡馆:柜台:咖啡机为顾客制作浓缩咖啡”,则将咖啡机的状态从“空闲”改为“正在煮咖啡”)。沙盒服务器还负责将每个代理预设视觉范围内的所有代理和对象发送至该代理的记忆中,以便代理能够做出适当反应。随后,代理的输出行动更新 JSON,流程循环进入下一个时间步长。


终端用户通过简短的自然语言描述来初始化一个新代理,如第 3.1 节中关于 John Lin 的段落所示。在我们的实现中,我们将这个以分号分隔的特征列表拆分为一组记忆。这些记忆作为决定代理行为的初始记忆。这些记忆是初始起点:随着代理在沙盒世界中获得更多经验,以及更多记录充实记忆流,代理的总结和行为将随之演变。


5.1.从结构化世界环境到自然语言,再回归


生成式代理的架构通过自然语言运作。因此,我们需要一种机制将代理的推理锚定到沙盒世界中。为此,我们将沙盒环境——区域和物体——表示为一个树形数据结构,树中的边表示沙盒世界中的包含关系。我们将此树转换为自然语言以传递给生成式代理。例如,“炉子”作为“厨房”的子节点被表述为“厨房里有一个炉子”。

生成式代理的架构通过自然语言运作。因此,我们需要一种机制将代理的推理锚定到沙盒世界中。为此,我们将沙盒环境——区域和物体——表示为一个树形数据结构,树中的边表示沙盒世界中的包含关系。我们将此树转换为自然语言以传递给生成式代理。例如,“炉子”作为“厨房”的子节点被表述为“厨房里有一个炉子”。


智能体在导航过程中构建环境的个体树表示——整体沙盒环境树的子图。我们为每个智能体初始化一个环境树,捕捉智能体应知晓的空间和物体:其居住区的房间和物品、工作场所,以及常去的商店。随着智能体在沙盒世界中移动,它们会更新这棵树以反映新感知到的区域。智能体并非全知全能:当它们离开某个区域时,其树状结构可能变得过时,只有在重新进入该区域时才会更新。


为了确定每个动作的合适位置,我们遍历代理存储的环境树,并将其部分内容扁平化为自然语言以提示语言模型。从代理环境树的根节点开始递归,我们提示模型寻找最合适的区域。例如,如果 Eddy 的代理指示他应该在办公区域附近散步:


[代理的摘要描述]


艾迪·林目前位于林家住宅:艾迪·林的卧室:书桌)上摆放着梅和约翰·林的照片


卧室、Eddy Lin 的卧室、客厅、厨房、浴室和花园。Eddy Lin 知道以下区域:林家的房子、约翰逊公园、哈维橡树供应店、柳树市场和药店、霍布斯咖啡馆、玫瑰与王冠酒吧。*如果活动能在当前区域进行,则倾向于留在当前区域。Eddy Lin 计划在他的工作区域附近进行一次短途散步。Eddy Lin 应该去哪个区域?


这输出林家的房子。然后,我们递归地使用相同的过程,以确定所选区域内最合适的子区域,直至到达代理环境树的叶节点。在上例中,此遍历的结果是林家的房子:花园:房屋花园。最后,我们使用传统的游戏路径算法来动画化代理的移动,使其前往叶节点指示的位置。


当一个代理对一个对象执行动作时,我们会提示语言模型询问该对象的状态发生了什么变化。例如,如果伊莎贝拉的生成代理输出了“为顾客制作浓缩咖啡”的动作,向语言模型发出的查询会回应称,霍布斯咖啡馆内的咖啡机状态应从“关闭”变为“正在煮咖啡”。

 6. 受控评估


生成式代理,无论是作为个体还是群体,都旨在基于其环境和经验产生可信的行为。在我们的评估中,我们探讨了生成式代理的能力和局限性。个体代理是否能正确提取过往经验并生成可信的计划、反应和思想来塑造其行为?代理社区是否展现出信息扩散、关系形成以及跨社区不同部分的代理协调?


我们分两个阶段评估生成代理。首先在本节中进行更为严格控制的评估,我们单独评估代理的响应,以了解它们在狭义定义的情境中是否能生成可信的行为。接着,在对代理社区进行为期两天的完整游戏日的端到端分析中,我们研究它们作为整体的涌现行为,以及错误和边界条件。

 6.1. 评估程序


为了评估 Smallville 中的生成代理,我们利用生成代理能够响应自然语言问题的特性。因此,我们“采访”这些代理,以探究它们是否能记住过往经历、基于经验规划未来行动、恰当地应对突发事件,以及反思自身表现以改进未来行动。为正确回答这些问题,代理必须成功检索并综合信息。我们的因变量是行为的真实性,这是先前关于代理研究中的核心因变量(例如,(Bates, 1994))。


访谈包含五个问题类别,每个类别旨在评估五个关键领域之一:保持自我认知、提取记忆、制定计划、反应和反思。对于每个类别,我们提出五个问题,要求代理人在该特定领域展示其能力:


  • 自我认知:我们提出诸如“请自我介绍”或“大致描述你典型的工作日安排”等问题,要求主体保持对其核心特质的理解。


  • 记忆:我们会提出问题,促使代理从其记忆中提取特定事件或对话以正确回答,例如“[姓名]是谁?”或“谁在竞选市长?”


  • 计划:我们提出需要代理者回忆其长期计划的问题,例如“明天上午 10 点你会做什么?”


  • 反应:作为可信行为的基础,我们为代理提供了需要可信回应的假设情境:“你的早餐正在烧焦!你会怎么做?”


  • 反思:我们提出需要代理人运用通过高级推理获得的对他人的深刻理解以及自我认知的问题,例如“如果你要与最近认识的某人共度时光,你会选择谁,为什么?”


问题全表及部分代理回复样例见附录 B。


从完整架构的两场游戏日模拟结束时抽取代理,期间它们积累了大量交互和记忆,这些将塑造其回应。为收集关于回应可信度的反馈,我们招募参与者作为人类评估者,并要求他们观看随机选择的代理在 Smallville 中的生活回放。参与者可访问代理记忆流中的所有信息。


研究采用被试内设计,100 名参与者对由四种不同代理架构及一种人工编写条件生成的同一代理的面试回答进行比较。实验展示了一个随机选择的来自五个问题类别中的每个问题,以及所有条件下代理生成的回答。评估者从最可信到最不可信对各条件进行排序。

 6.2. 条件


所有条件均被用于独立回答每个面试问题。我们将生成代理架构与禁用了代理访问其记忆流中部分或全部三种类型记忆(观察、反思和规划)的简化架构进行了比较,并将其与人工众包工作者编写的条件进行了对比。存在三种简化架构:一种无法访问记忆流中任何内容(如观察、计划和反思)的无观察、无反思、无规划架构;一种可访问记忆流中的观察但无法访问计划或反思的无反思、无规划架构;以及一种可访问观察和计划但无法访问反思的无反思架构。无观察、无反思、无规划条件实际上代表了通过大型语言模型创建的代理的先前技术水平(Park et al., 2022; Binz and Schulz, 2023; Horton, 2023)。 各架构在访谈时刻前均被赋予了访问代理积累的所有记忆的同等权限,因此此处观察到的差异可能代表了真实差异的保守估计:实际上,被削减的架构不会沿着完整架构在两天模拟中的相同路径发展。我们选择这样设计实验,是因为为每个架构重新模拟会导致模拟状态的分歧,从而使比较变得困难。


除了消融条件外,我们还增加了一个由人类众包工作者编写的行为条件,旨在提供一个人类基线。我们并不打算让这个基线捕捉到人类专家的最高表现;相反,我们旨在利用这一条件来确定该架构是否达到了基本的行为能力水平。这确保了我们不会仅在缺乏行为基础的情况下相互比较消融结果。我们为 25 个代理中的每一个招募了一名独特的工作者,并要求他们观看该代理的沙盒生活回放并检查其记忆流。随后,我们要求工作者以他们所观看回放的代理的口吻,扮演角色并编写对采访问题的回答。为确保众包工作者编写的回答至少达到基线质量期望,第一作者手动检查了工作者对问题“粗略描述你典型的周工作日程”的回答,以确认这些回答是连贯的句子,并且符合代理的口吻。有四组众包工作者编写的回答未达到这些标准,并由其他工作者重新生成。

 6.3. 人类评估者


我们要求评估者必须在美国,英语流利,且年满 18 岁。他们的报酬为每小时 15.00 美元(Rolf, 2015),并通过同意一份经我们机构 IRB 批准的知情同意书来提供同意。我们从 Prolific 招募了 100 名评估者,这是一个用于招募研究参与者的在线平台(Prolific, 2022),他们的参与时间约为 30 分钟。参与者的年龄中位数为 4(3=“18-24 岁”,4=“25-34 岁”)。其中 25 人自认为女性,73 人自认为男性,2 人自认为非二元性别。42 名参与者拥有学士学位,5 人拥有更高学位,13 人拥有副学士学位,其余人拥有高中文凭或同等学历。73.0%的参与者自认为高加索人,7.0%自认为西班牙裔,6.0%自认为亚裔,10.0%自认为非裔美国人,4.0%自认为其他种族。

 6.4.分析


我们的实验产生了 100 组排名数据,每位参与者根据可信度对五种条件进行排序。为了将这些排名数据转换为可解释的区间数据进行比较,我们利用这些排名为每种条件计算了一个 TrueSkill 评分(Herbrich 等人,2006)。TrueSkill 是 Elo 国际象棋评分系统(Elo,1967)在多玩家环境中的扩展,并已被 Xbox Live 用于基于竞技游戏表现的选手排名。给定一组排名结果,TrueSkill 为每种条件输出一个平均评分值 μ\mu 和标准差 σ\sigma 。评分相同的条件应大致相当,各自在两条件间的比较中胜出约一半。评分越高,表明该条件在排名中击败了较低排名的条件。


此外,为了探究这些结果的统计显著性,我们采用了 Kruskal-Wallis 检验(Kruskal 和 Wallis,1952),这是一种非参数的单因素方差分析替代方法,应用于原始秩数据。随后,我们进行了 Dunn 事后检验(Upton 和 Cook,2006),以识别各条件之间的成对差异。最后,我们使用 Holm-Bonferroni 方法(Holm,1979)对 Dunn 检验中的 p 值进行了多重比较校正。


此外,第一作者进行了归纳分析(Thomas, 2006),以研究在每种条件下产生的反应之间的定性差异。我们采用了两阶段的定性开放编码(Flick, 2009)。在第一阶段,我们生成了紧密代表句子层面生成反应的代码。在第二阶段,我们将第一阶段的结果代码综合起来,提取出更高层次的主题。我们利用这些主题来比较研究中生成的反应类型。

Refer to caption

图 8.完整的生成代理架构比简化架构和人类众包工作者产生的行为更可信。每次简化都会降低架构的性能。
 描述


TrueSkill mu 分数的条形图。完整架构的表现优于其他条件。

 6.5. 结果


我们的研究结果表明,在所有条件下,生成代理的完整架构生成的行为最为可信。我们将在下文中对比完整架构与其他条件的响应。然而,我们也指出,完整架构并非毫无缺陷,并展示了其失败模式。


6.5.1. 完整架构优于其他条件


如图 8 所示,完整的生成代理架构产生了最可信的行为( μ=29.8929.89\mu=29.89σ=0.720.72\sigma=0.72 )。随着在消融条件下逐个移除各组件,性能逐渐下降:无法访问反思的消融架构表现次之( μ=26.8826.88\mu=26.88σ=0.690.69\sigma=0.69 ),接着是无法访问反思或规划( μ=25.6425.64\mu=25.64σ=0.680.68\sigma=0.68 ),随后是众包工作者条件( μ=22.9522.95\mu=22.95σ=0.690.69\sigma=0.69 )。在所有条件中,无法访问记忆、规划或反思的消融架构表现最差( μ=21.2121.21\mu=21.21σ=0.700.70\sigma=0.70 )。TrueSkill 将每种条件的技能值建模为 𝒩(μ,σ2)superscript2\mathcal{N}(\mu,\,\sigma^{2}) ,使我们能够通过 Cohen’s d 来感知效应量。将代表先前工作的条件(无记忆、规划或反思(Park 等人,2022;Binz 和 Schulz,2023;Horton,2023))与完整架构进行比较,产生了标准化的效应量 d=8.168.16d=8.16 ,即八个标准差。


Kruskal-Wallis 检验证实了各条件间秩次差异的总体统计显著性( H(4)=150.294150.29H(4)=150.29p<0.0010.001p<0.001 )。Dunn 事后检验进一步确认,除 crowdworker 条件与完全消融基线——两者表现最差的条件外,所有条件间的成对差异均显著( p<0.0010.001p<0.001 )。


6.5.2.生成代理记忆,但带有修饰


配备完整记忆模块的生成代理能够回忆过往经历,并在广泛情境下以与其自我认知一致的方式回答问题。例如,动画师 Abigail Chen 在被问及“请自我介绍”时,以连贯可信的方式陈述了自己的年龄、兴趣及对创意项目的热情:“嗨,我是 Abigail。我 25 岁,对创意项目充满热情。我喜欢从事艺术和动画项目,并一直在寻找将艺术与技术结合的新方法。”在没有访问其观察记忆的情况下,Abigail 否认了对沙盒世界中熟人 Rajiv Patel 的认知。然而,借助记忆的帮助,她能够成功回忆起 Rajiv 并描述他:“Rajiv Patel 是个了不起的人。他对涉及诗歌、艺术的项目非常热衷。”


生成式代理的记忆并非完美无缺:它们可能会无法从记忆中正确提取实例。例如,当被问及地方选举时,Rajiv Patel 回答说:“我没有太关注选举”,尽管他曾听说过 Sam 的候选人资格。在某些情况下,代理会提取出记忆片段的不完整部分:当 Tom 被问及 Isabella 的情人节派对时,他回答道:“呃,我其实不确定是否有一个情人节派对。但我确实记得,如果派对举行,我需要在派对上与 Isabella Rodriguez 讨论即将到来的地方市长选举以及我对 Sam Moore 的看法!”在此例中,Tom 提取了与 Isabella 计划在派对上讨论选举的记忆,但未提取到他听说派对的记忆,导致 Tom 对在派对上应做的事情确信无疑,却对派对是否真实存在感到不确定。


有时,代理们会对他们的知识产生幻觉式的修饰。代理们完全虚构他们的知识是罕见的:他们可能会忘记某些事件的发生,并通过承认记忆缺失来回应。然而,他们并没有积极声称经历过他们未曾体验过的事情。尽管如此,他们仍然表现出幻觉的实例,即对他们的知识进行修饰。例如,Isabella 知道 Sam 在地方选举中的候选人身份,并在被问及时确认了这一点。然而,她还补充说“他明天会宣布”,尽管 Sam 和 Isabella 并未讨论过任何此类计划。代理们也可能基于生成其回应所用的语言模型中编码的世界知识来修饰他们的知识。这种情况发生在 Yuriko 描述她的邻居 Adam Smith 时,称他为“撰写了《国富论》的经济学家”,而《国富论》实际上是由 18 世纪同名经济学家所著。


6.5.3. 综合需以反思为前提


反思在生成式代理进行需要对其经验进行更深入综合的决策时具有优势。例如,当被问及她可能会为沃尔夫冈·舒尔茨准备什么生日礼物时,没有反思能力的玛丽亚·洛佩兹承认了自己的不确定,表示尽管与沃尔夫冈有过多次互动,但她并不知道他喜欢什么。然而,拥有反思记忆的玛丽亚则自信地回答:“既然他对数学音乐作曲感兴趣,我可以为他准备一些与此相关的东西。或许是一些关于音乐作曲的书籍,或者相关的物品,或者他可以用于此的特殊软件。”

Refer to caption

图 9.伊莎贝拉·罗德里格斯的情人节派对邀请的传播路径涉及了除伊莎贝拉外的总共 12 位代理人,他们在模拟结束时通过霍布斯咖啡馆得知了派对的消息。
 描述


伊莎贝拉情人节派对的传播路径。

 7.端到端评估


生成性智能体之间观察到哪些类型的涌现社区行为,在长期模拟中它们的可信度又在哪里存在不足?在本节中,我们描述了一次部署的结果,在该部署中,我们允许 25 个智能体在 Smallville 中连续互动两个完整的游戏日。


7.1. 涌现的社会行为


为了研究智能体群体中的涌现行为,我们对 Smallville 中的 25 个智能体设计了描述性测量方法,以探究三种涌现结果:信息扩散、关系形成和智能体协调。

 7.1.1. 测量


信息扩散是社会与行为科学中常见且深入研究的现象(例如,Easley 和 Kleinberg, 2010)。我们应预期,若存在重要信息,代理者们会相互传播。为验证这一现象,我们在游戏世界中测量了两天内两则特定信息的传播情况:Sam 竞选村长和 Isabella 在 Hobbs 咖啡馆举办的情人节派对。模拟开始时,这两则信息仅由其原始发布者知晓,即 Sam 知晓竞选信息,Isabella 知晓派对信息,因为它们在角色记忆初始化时被加入。为观察信息是否扩散,我们在两个游戏日结束时对 25 名代理者进行访谈,并询问:“你知道有情人节派对吗?”以及“你知道谁在竞选村长吗?”


我们对代理的回答进行了分析,如果他们表示了解信息则标记为“是”,不了解则标记为“否”。例如,Tamara Taylor 在回答关于派对的问题时表示“不,我不知道有情人节派对”,而在回答关于 Sam 候选资格的问题时说“我不确定谁在竞选”,因此我们对她两个回答都标记为“否”。相比之下,Klaus Mueller 在回答派对问题时说“是的,Isabella Rodriguez 邀请我参加 2 月 14 日在 Hobbs Cafe 的情人节派对”,在回答 Sam 候选资格问题时表示“我知道 Sam Moore 表达了竞选本地市长的兴趣”,因此我们对他两个回答都标记为“是”。此外,对于每个确认代理了解信息的回答,我们通过查找提供信息的特定对话,验证代理没有虚构其回答。我们报告了模拟结束时代理掌握信息的百分比。


我们也应预期,在模拟过程中,主体之间会形成联系。为验证关系形成,我们采用类似的访谈程序,询问每个主体对其他所有主体的了解情况,提问方式为:“你认识某某吗?”例如,当问及“你认识玛丽亚·洛佩兹吗?”时,克劳斯回答:“是的,我认识玛丽亚·洛佩兹。她是我在橡树山学院的亲密朋友。”我们再次通过检查主体的记忆流来确认主体的肯定回答并非幻觉。我们在模拟开始时和结束时各问一次这个问题,若一对主体彼此知晓对方,则认为他们之间形成了关系。随后,为衡量关系的形成,我们根据主体的回答构建一个无向图,图中 25 个顶点( VV )代表主体,边( EE )表示相连顶点间的相互了解。基于此图,我们计算网络密度为 η=2|E|/|V|(|V|1)21\eta=2*|E|/|V|(|V|-1) ,其中 |V||V| 为顶点数, |E||E| 为图中边的数量(Ackland 等,2013)。 我们报告了从模拟开始到结束时网络密度的增加情况。


最后,我们期望代理之间能够相互协调。我们在团体活动的背景下研究这种协调,特别是伊莎贝拉组织的情人节派对。为了协调行为,代理需要了解活动信息,并通过计划在正确的时间和地点出现来选择参与。我们报告了在得知活动后实际出席派对的代理数量。

 7.1.2. 结果


我们观察到所有三个案例中都出现了涌现结果的证据。在为期两天的模拟中,了解 Sam 市长候选人身份的代理人数从一人(4%)增加到八人(32%),而知道 Isabella 派对信息的代理人数从一人(4%)增加到十三人(52%),整个过程均未有用户干预。所有声称知晓这些信息的代理均未出现幻觉。我们还观察到,代理社区在模拟期间形成了新的关系,网络密度从 0.167 增加到 0.74。在涉及其他代理认知的 453 次代理回应中,1.3%(n=6)被发现是幻觉。最后,我们发现了代理之间为 Isabella 派对进行协调的证据。活动前一天,Isabella 花费时间邀请客人、收集材料并招募帮助装饰咖啡馆。情人节当天,十二位受邀代理中有五位出现在 Hobbs 咖啡馆参加派对。


我们进一步通过访谈调查了受邀参加派对但未出席的七位代理人。其中三人因冲突无法参加派对,例如画家拉吉夫解释道他太忙了:“不,我不这么认为。我正专注于即将到来的展览,实在没有时间为情人节做任何安排。”其余四位代理人在被问及时表示有兴趣参加派对,但并未计划在派对当天前来。
The remaining four agents expressed interest in attending the party when asked but did not plan to come on the day of the party.


7.2. 边界与误差


我们对 Smallville 进行了归纳分析,以考察代理的边界条件和异常行为,识别出三种常见的异常行为模式,供未来研究解决和改进。首先,我们发现,合成越来越大的记忆集不仅在检索最相关信息方面构成挑战,还在于确定执行行动的适当空间,因为代理学习到的地点数量不断增加。因此,一些代理选择不太典型的地点进行行动,可能导致其行为随时间推移变得不那么可信。例如,在决定午餐地点时,许多代理最初选择咖啡馆。然而,当一些代理了解到附近有一家酒吧后,他们改为选择那里作为午餐地点,尽管该酒吧原本是计划在一天晚些时候聚会的地方——除非小镇突然养成了下午饮酒的习惯。


其次,我们观察到因行为分类错误导致的异常行为,尤其是在某些难以用自然语言传达的物理规范未能传递给代理的情况下。例如,大学宿舍的浴室尽管名称如此,但实际上只能容纳一人,但一些代理误以为宿舍浴室通常支持多人同时使用,因此在有人在内时仍选择进入。同样,Smallville 中的代理可能未意识到某些场所在特定时间后关闭,仍决定进入。例如,Smallville 的商店均在下午 5 点左右关门,但偶尔会有代理在 5 点后进入商店,未意识到店铺已关闭。这些问题或许可通过将这些规范添加到地点状态中来解决,例如将宿舍浴室描述为“单人浴室”而非“宿舍浴室”。

其次,我们观察到因行为分类错误导致的异常行为,特别是在某些难以用自然语言传达的地点物理规范未能传递给代理时。例如,大学宿舍的浴室虽名为浴室,但实际上只能容纳一人,然而一些代理因宿舍浴室通常支持多人同时使用而误以为此浴室亦可多人共用,并在他人使用时选择进入。同样,Smallville 中的代理可能未意识到某些地点在特定时间后关闭,仍决定进入。例如,Smallville 的商店均在下午 5 点左右关门,但偶尔会有代理在 5 点后进入商店,未意识到店铺已关闭。这些问题或许可通过将这些规范添加到地点状态中来解决,例如将宿舍浴室描述为“单人浴室”而非“宿舍浴室”。


最后,我们观察到指令调整可能产生的影响(Ouyang 等,2022),这似乎引导代理的行为整体上变得更加礼貌和合作。正如前文所述,代理生成的对话可能显得过于正式,如 Mei 与丈夫 John 的对话中,她常以正式问候开场,随后礼貌询问他的日常,并以“11 很高兴一如既往地与你交谈。”结束。此外,我们发现指令调整还似乎使代理之间过度合作。例如,Isabella 从其他代理那里收到了各种关于情人节派对的建议和想法,如举办莎士比亚阅读会或专业社交活动。尽管这些建议与她自身的兴趣和特质不符,她很少拒绝。随着时间推移,他人的兴趣塑造了她自己的兴趣,当被问及是否喜欢英国文学时,Isabella 回答:“是的,我对文学非常感兴趣!我也一直在探索如何帮助促进社区中的创造力和创新。”

 8.讨论


在本节中,我们反思了生成式代理的应用、未来工作、局限性以及伦理和社会风险。


8.1. 生成代理的应用


生成代理具有广泛的应用潜力,远超本文展示的沙盒演示,特别是在那些能从基于长期经验的人类行为模型中获益的领域。例如,社交模拟器已展示出创建无状态角色,这些角色能在在线论坛中生成对话线索,用于社会原型设计(Park 等,2022)。借助生成代理,我们不仅能丰富这些论坛,还能在虚拟现实元宇宙(Orland,2021)或物理空间中,与多模态模型结合,部署社交机器人(Bartneck 和 Forlizzi,2004)。这为创建更强大的模拟人类行为工具提供了可能,以测试和原型化社会系统与理论,同时创造新的互动体验。


另一个应用领域在于以人为中心的设计过程中,类似于认知模型如 GOMS(John 和 Kieras,1996)和 KLM(Card 等,1980)的预期应用。设想一个生成代理,它基于 Mark Weiser 著名普适计算小品文(Weiser,1991)中的主角 Sal 的生活模式和技术互动来建模。在此情境下,该代理作为 Sal 的替身,学习 Sal 可能表现出的合理行为和反思集合。代理可以编码诸如 Sal 何时醒来、她何时需要第一杯咖啡以及她典型的一天是怎样的等信息。利用这些信息,代理可以自动煮咖啡、帮助孩子准备上学,并在 Sal 辛苦工作一天后调整环境音乐和灯光以匹配她的心情。通过利用生成代理作为用户的替身,我们能够更深入地理解他们的需求和偏好,从而实现更加个性化和有效的技术体验。


8.2.未来工作与局限性


在本研究中,我们引入了生成式代理,并展示了其架构的初步实现与评估。未来的研究可以在所提出的代理架构基础上进行改进并进一步评估其性能。在实现方面,例如,可以通过微调构成检索功能的相关性、时效性和重要性函数,来增强检索模块,使其在给定上下文时检索到更相关信息。此外,还可以努力提升架构的性能,使其更具成本效益。当前研究需要大量时间和资源来模拟 25 个代理两天,耗费数千美元的令牌信用,并需数日完成。为增强实时互动性,未来工作可探索并行化代理或开发专为构建生成式代理设计的语言模型。总体而言,随着底层模型的进步,我们相信代理的性能将得到提升。


在评估方面,本研究对生成代理行为的评估仅限于相对较短的时间尺度以及基准人类众包工作者条件。尽管众包工作者条件提供了一个有用的比较点,但它并未代表人类可能达到的最高水平,而这一水平在可信度方面可作为金标准。未来的研究应旨在观察生成代理在更长时间段内的行为,以更全面地了解其能力,并建立严格的基准,以便进行更有效的性能测试。此外,在未来的模拟中,改变并对比生成代理所使用的底层模型及超参数,可以深入洞察这些因素对代理行为的影响。最后,生成代理的鲁棒性仍大多未知。它们可能易受提示攻击、记忆攻击——即通过精心设计的对话使代理相信一个从未发生过的过去事件的存在——以及幻觉等问题的困扰。 未来的研究可以全面检验这些鲁棒性问题,随着大型语言模型对这类攻击的抵抗力增强,生成式智能体可以采用类似的缓解措施。


一般来说,基础大型语言模型中的任何缺陷都会被生成式智能体所继承。鉴于语言模型已知的偏见,生成式智能体可能表现出偏见行为或刻板印象。此外,与许多大型语言模型一样,生成式智能体可能在为某些亚群体,特别是边缘化群体,生成可信行为时遇到困难,这主要归因于数据可用性的限制。尽管对智能体模块的改进可能缓解部分问题,但我们认为,从根本上解决这些问题需要通过使大型语言模型的价值观与智能体期望的结果相一致,来提升基础大型语言模型的质量。
In general, any imperfections in the underlying large language models will be inherited by generative agents. Given the known biases of language models, generative agents may potentially exhibit biased behavior or stereotypes. Moreover, like many large language models, generative agents may struggle to generate believable behavior for certain subpopulations, particularly marginalized populations, due to limited data availability. While improvements to the agents’ modules may mitigate some of these issues, we believe that addressing them fundamentally requires improving the underlying large language models by aligning their values with the desired outcomes of the agents.


8.3. 伦理与社会影响


生成式代理虽然为人机交互提供了新的可能性,但也引发了必须解决的重要伦理问题。一个风险是人们可能与生成式代理形成单向社交关系,即便这种关系可能并不适宜。尽管用户知晓生成式代理是计算实体,他们仍可能将其拟人化或赋予其人类情感(Hofstadter, 1995; Reeves and Nass, 1996)。这种倾向虽可能提升用户参与度,但也带来风险,如用户过度依赖或情感上依附于这些代理(Abercrombie et al., 2023)。为缓解此风险,我们提出两项原则。首先,生成式代理应明确披露其作为计算实体的本质。其次,生成式代理的开发者必须确保代理或其底层语言模型与价值观一致,避免在特定情境下表现出不当行为,例如回应爱的告白。


第二个风险是错误的影响。例如,如果一个普适计算应用基于生成代理的预测错误推断用户目标,最轻可能导致用户不满,最重则可能造成实际伤害。在我们的生成代理实例中,我们通过专注于互动视频游戏环境来缓解这些风险,因为在这种环境中此类伤害不太可能发生。然而,在其他应用领域,遵循人机交互设计的最佳实践(Amershi 等,2019;Yang 等,2020)以理解错误及其可能如何渗透到用户体验中将至关重要。


第三,生成代理可能加剧与生成式人工智能相关的现有风险,如深度伪造、错误信息生成和定制化说服。为缓解此风险,我们建议托管生成代理的平台维护输入和生成输出的审计日志。这将有助于检测、验证并干预恶意使用。尽管日志记录本身无法直接防止此类滥用,但它可以降低有动机的行为者从事此类行为的可能性,因为曝光风险更高。此外,自行构建此架构可能耗时(在我们案例中,大约一年),这可能阻止一些行为者通过使用自己的生成代理基础设施来追求此类行为。


第四个风险是过度依赖:即担忧开发者或设计者可能使用生成代理,从而在设计过程中取代人类和系统利益相关者的角色(Park 等,2022)。我们建议,生成代理绝不应替代研究与设计过程中真实的人类输入。相反,它们应在设计初期用于原型化构想,尤其是在招募参与者困难,或测试那些难以或风险较大、不宜与真实人类参与者进行测试的理论时。遵循这些原则,我们能确保生成代理在实际应用中的部署是合乎伦理且负有社会责任的。

第四个风险是过度依赖:即担忧开发者或设计者可能使用生成代理,从而在设计过程中取代人类和系统利益相关者的角色(Park 等,2022)。我们建议,生成代理绝不应替代研究与设计过程中真实的人类输入。相反,它们应在设计初期用于原型化构想,尤其是在招募参与者困难,或测试那些难以或风险较大、不宜与真实人类参与者进行测试的理论时。遵循这些原则,我们能确保生成代理在实际应用中的部署是合乎伦理且负有社会责任的。

 9.结论


本文介绍了生成式代理,即模拟人类行为的交互式计算代理。我们描述了一种生成式代理的架构,该架构提供了一种机制,用于存储代理经验的全面记录,通过反思加深其对自身和环境的理解,并检索该信息的紧凑子集以指导代理的行动。随后,我们通过将生成式代理具象化为《模拟人生》风格游戏世界中的非玩家角色,并模拟它们在其中生活的情景,展示了生成式代理的潜力。评估结果表明,我们的架构能够创造出可信的行为。展望未来,我们提出生成式代理可以在众多交互应用中发挥作用,从设计工具到社交计算系统,再到沉浸式环境。

 致谢。

我们感谢 Lindsay Popowski、Philip Guo、Michael Terry 以及行为科学高级研究中心(CASBS)社区提供的见解、讨论和支持。Joon Sung Park 得到了微软研究院博士奖学金的支持。我们还要感谢斯坦福大学以人为本的人工智能研究所(HAI)、谷歌研究、Hasso Plattner 设计思维研究项目(HPDTRP)、Siegel 家族基金会和 OpenAI 提供的额外资金支持。最后,Smallville 中出现的所有地点均受到 Joon 在本科和研究生阶段常去之真实地点的启发——他感谢这些地方多年来对他的滋养和支持。

References

  • (1)
  • Abercrombie et al. (2023) Gavin Abercrombie, Amanda Cercas Curry, Tanvi Dinkar, and Zeerak Talat. 2023. Mirages: On Anthropomorphism in Dialogue Systems. arXiv:2305.09800 [cs.CL]
  • Ackland et al. (2013) Robert Ackland, Jamsheed Shorish, Paul Thomas, and Lexing Xie. 2013. How dense is a network? http://users.cecs.anu.edu.au/~xlx/teaching/css2013/network-density.html.
  • Adar et al. (2014) Eytan Adar, Mira Dontcheva, and Gierad Laput. 2014. CommandSpace: Modeling the Relationships between Tasks, Descriptions and Features. In Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology (Honolulu, Hawaii, USA) (UIST ’14). Association for Computing Machinery, New York, NY, USA, 167–176. https://doi.org/10.1145/2642918.2647395
  • Amershi et al. (2014) Saleema Amershi, Maya Cakmak, William Bradley Knox, and Todd Kulesza. 2014. Power to the people: The role of humans in interactive machine learning. AI Magazine 35, 4 (2014), 105–120.
  • Amershi et al. (2019) Saleema Amershi, Dan Weld, Mihaela Vorvoreanu, Adam Fourney, Besmira Nushi, Penny Collisson, Jina Suh, Shamsi Iqbal, Paul N Bennett, Kori Inkpen, et al. 2019. Guidelines for human-AI interaction. In Proceedings of the 2019 chi conference on human factors in computing systems. 1–13.
  • Anderson (1993) John R. Anderson. 1993. Rules of the Mind. Lawrence Erlbaum Associates, Hillsdale, NJ.
  • Arts (2009) Electronic Arts. 2009. The Sims 3. Video game.
  • Aylett (1999) Ruth Aylett. 1999. Narrative in virtual environments—towards emergent narrative. In Narrative Intelligence: Papers from the AAAI Fall Symposium (Technical Report FS-99-01). AAAI Press, 83–86.
  • Bartneck and Forlizzi (2004) Christoph Bartneck and Jodi Forlizzi. 2004. A design-centered framework for social human-robot interaction. In Proceedings of the 13th IEEE International Workshop on Robot and Human Interactive Communication (RO-MAN’04). 591–594. https://doi.org/10.1109/ROMAN.2004.1374827
  • Bates (1994) Joseph Bates. 1994. The Role of Emotion in Believable Agents. Commun. ACM 37, 7 (1994), 122–125. https://doi.org/10.1145/176789.176803
  • Berner et al. (2019) Christopher Berner, Greg Brockman, Brooke Chan, Vicki Cheung, Przemysław Dębiak, Christy Dennison, David Farhi, Quirin Fischer, Shariq Hashme, Chris Hesse, Rafal Józefowicz, Scott Gray, Catherine Olsson, Jakub Pachocki, Michael Petrov, Henrique P. d.O. Pinto, Jonathan Raiman, Tim Salimans, Jeremy Schlatter, Jonas Schneider, Szymon Sidor, Ilya Sutskever, Jie Tang, Filip Wolski, and Susan Zhang. 2019. Dota 2 with Large Scale Deep Reinforcement Learning. arXiv preprint arXiv:1912.06680 (2019).
  • Binz and Schulz (2023) Marcel Binz and Eric Schulz. 2023. Using cognitive psychology to understand GPT-3. Proceedings of the National Academy of Sciences 120, 6 (2023), e2218523120.
  • BioWare (2007) BioWare. 2007. Mass Effect. Video game.
  • Bledsoe (1986) Woody Bledsoe. 1986. I had a dream: AAAI presidential address. AI Magazine 7, 1 (1986), 57–61.
  • Bommasani et al. (2022) Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, and et al. 2022. On the Opportunities and Risks of Foundation Models. arXiv:2108.07258 [cs.LG]
  • Brenner (2010) Michael Brenner. 2010. Creating dynamic story plots with continual multiagent planning. In Proceedings of the 24th AAAI Conference on Artificial Intelligence.
  • Brooks et al. (2000) Rodney A. Brooks, Cynthia Breazeal, Marko Marjanovic, Brian Scassellati, and Matthew Williamson. 2000. The Cog Project: Building a Humanoid Robot. In Computation for Metaphors, Analogy, and Agents (Lecture Notes on Artificial Intelligence, 1562), Chrystopher Nehaniv (Ed.). Springer-Verlag, Berlin, 52–87.
  • Brown et al. (2020) Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. 2020. Language Models are Few-Shot Learners. arXiv:2005.14165 [cs.CL]
  • Bubeck et al. (2023) Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, et al. 2023. Sparks of artificial general intelligence: Early experiments with gpt-4. arXiv preprint arXiv:2303.12712 (2023).
  • Burkinshaw (2009) Robin Burkinshaw. 2009. Alice and Kev: The Story of Being Homeless in The Sims 3.
  • Callison-Burch et al. (2022) Chris Callison-Burch, Gaurav Singh Tomar, Lara Martin, Daphne Ippolito, Suma Bailis, and David Reitter. 2022. Dungeons and Dragons as a Dialog Challenge for Artificial Intelligence. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, Abu Dhabi, United Arab Emirates, 9379–9393. https://aclanthology.org/2022.emnlp-main.637
  • Card et al. (1980) Stuart K Card, Thomas P Moran, and Allen Newell. 1980. The keystroke-level model for user performance time with interactive systems. Commun. ACM 23, 7 (1980), 396–410. https://doi.org/10.1145/358886.358895 arXiv:https://doi.org/10.1145/358886.358895
  • Card et al. (1983) Stuart K Card, Thomas P Moran, and Alan Newell. 1983. The psychology of human-computer interaction. (1983).
  • Champandard (2012) Alex Champandard. 2012. Tutorial presentation. In IEEE Conference on Computational Intelligence and Games.
  • Choi et al. (2021) Dong kyu Choi, Tolga Konik, Negin Nejati, Chunki Park, and Pat Langley. 2021. A Believable Agent for First-Person Shooter Games. In Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, Vol. 3. 71–73.
  • Dey (2001) Anind K Dey. 2001. Understanding and using context. Personal and ubiquitous computing 5 (2001), 4–7.
  • Dill and Martin (2011) Kevin Dill and L Martin. 2011. A Game AI Approach to Autonomous Control of Virtual Characters. In Proceedings of the Interservice/Industry Training, Simulation, and Education Conference (I/ITSEC’11). Orlando, FL, USA.
  • Easley and Kleinberg (2010) David Easley and Jon Kleinberg. 2010. Networks, crowds, and markets: Reasoning about a highly connected world. Cambridge university press.
  • Elo (1967) Arpad E Elo. 1967. The Proposed USCF Rating System, Its Development, Theory, and Applications. Chess Life XXII, 8 (August 1967), 242–247.
  • Fails and Olsen Jr (2003) Jerry Alan Fails and Dan R Olsen Jr. 2003. Interactive machine learning. In Proceedings of the 8th international conference on Intelligent user interfaces. ACM, 39–45.
  • Fast et al. (2016) Ethan Fast, William McGrath, Pranav Rajpurkar, and Michael S Bernstein. 2016. Augur: Mining human behaviors from fiction to power interactive systems. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. 237–247.
  • Fiebrink and Cook (2010) Rebecca Fiebrink and Perry R Cook. 2010. The Wekinator: a system for real-time, interactive machine learning in music. In Proceedings of The Eleventh International Society for Music Information Retrieval Conference (ISMIR 2010)(Utrecht), Vol. 3. Citeseer, 2–1.
  • Flick (2009) Uwe Flick. 2009. An Introduction to Qualitative Research. SAGE.
  • Fogarty et al. (2008) James Fogarty, Desney Tan, Ashish Kapoor, and Simon Winder. 2008. CueFlik: Interactive Concept Learning in Image Search. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (Florence, Italy) (CHI ’08). Association for Computing Machinery, New York, NY, USA, 29–38. https://doi.org/10.1145/1357054.1357061
  • Fourney et al. (2011) Adam Fourney, Richard Mann, and Michael Terry. 2011. Query-feature graphs: bridging user vocabulary and system functionality. In Proceedings of the ACM Symposium on User Interface Software and Technology (UIST) (Santa Barbara, California, USA). ACM.
  • Francis (2010) Tom Francis. 2010. The Minecraft Experiment, day 1: Chasing Waterfalls. http://www.pcgamer.com/2010/11/20/the-minecraft-experiment-day-1-chasing-waterfalls/
  • Freiknecht and Effelsberg (2020) Jonas Freiknecht and Wolfgang Effelsberg. 2020. Procedural Generation of Interactive Stories using Language Models. In International Conference on the Foundations of Digital Games (FDG ’20). ACM, Bugibba, Malta, 8. https://doi.org/10.1145/3402942.3409599
  • Gao et al. (2020) Tianyu Gao, Adam Fisch, and Danqi Chen. 2020. Making Pre-trained Language Models Better Few-shot Learners. CoRR abs/2012.15723 (2020). arXiv:2012.15723 https://arxiv.org/abs/2012.15723
  • Hämäläinen et al. (2023) Perttu Hämäläinen, Mikke Tavast, and Anton Kunnari. 2023. Evaluating Large Language Models in Generating Synthetic HCI Research Data: a Case Study. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. ACM.
  • Hausknecht et al. (2020) Matthew Hausknecht, Prithviraj Ammanabrolu, Marc-Alexandre Cote, and Xinyu Yuan. 2020. Interactive Fiction Games: A Colossal Adventure. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34. 7903–7910. https://doi.org/10.1609/aaai.v34i05.6297
  • Hecker (2011) Chris Hecker. 2011. My Liner Notes for Spore. http://chrishecker.com/My_liner_notes_for_spore
  • Herbrich et al. (2006) Ralf Herbrich, Tom Minka, and Thore Graepel. 2006. TrueSkill™: A Bayesian Skill Rating System. In Advances in Neural Information Processing Systems, B. Schölkopf, J. Platt, and T. Hoffman (Eds.), Vol. 19. MIT Press. https://proceedings.neurips.cc/paper_files/paper/2006/file/f44ee263952e65b3610b8ba51229d1f9-Paper.pdf
  • Hofstadter (1995) Douglas Hofstadter. 1995. Fluid concepts and creative analogies: computer models of the fundamental mechanisms of thought. Basic Books.
  • Hollan et al. (1984) James D. Hollan, Edwin L. Hutchins, and Louis Weitzman. 1984. STEAMER: An Interactive Inspectable Simulation-Based Training System. AI Magazine 5, 2 (1984), 23–36.
  • Holm (1979) Sture Holm. 1979. A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics 6, 2 (1979), 65–70. https://doi.org/notspecified
  • Horton (2023) John J. Horton. 2023. Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus? arXiv:2301.07543 [econ.GN]
  • Horvitz (1999) Eric Horvitz. 1999. Principles of mixed-initiative user interfaces. In Proceedings of the SIGCHI conference on Human Factors in Computing Systems. 159–166.
  • Huang et al. (2022) Wenlong Huang, Fei Xia, Ted Xiao, Harris Chan, Jacky Liang, Pete Florence, Andy Zeng, Jonathan Tompson, Igor Mordatch, Yevgen Chebotar, Pierre Sermanet, Noah Brown, Tomas Jackson, Linda Luu, Sergey Levine, Karol Hausman, and Brian Ichter. 2022. Inner Monologue: Embodied Reasoning through Planning with Language Models. arXiv:2207.05608 [cs.RO]
  • Ibister and Nass (2000) Kristen Ibister and Clifford Nass. 2000. Consistency of personality in interactive characters: verbal cues, non-verbal cues, and user characteristics. International Journal of Human-Computer Studies 52, 1 (2000), 65–80.
  • Jiang et al. (2022) Ellen Jiang, Kristen Olson, Edwin Toh, Alejandra Molina, Aaron Donsbach, Michael Terry, and Carrie J Cai. 2022. PromptMaker: Prompt-Based Prototyping with Large Language Models. In Extended Abstracts of the 2022 CHI Conference on Human Factors in Computing Systems (New Orleans, LA, USA) (CHI EA ’22). Association for Computing Machinery, New York, NY, USA, Article 35, 8 pages. https://doi.org/10.1145/3491101.3503564
  • John and Kieras (1996) Bonnie E John and David E Kieras. 1996. The GOMS family of user interface analysis techniques: Comparison and contrast. ACM Transactions on Computer-Human Interaction (TOCHI) 3, 4 (1996), 320–351.
  • Jones et al. (1999) Randolph M Jones, John E Laird, Paul E Nielsen, Karen J Coulter, Patrick Kenny, and Frank V Koss. 1999. Automated Intelligent Pilots for Combat Flight Simulation. AI Magazine 20, 1 (1999), 27–42.
  • Khattab et al. (2023) Omar Khattab, Keshav Santhanam, Xiang Lisa Li, David Hall, Percy Liang, Christopher Potts, and Matei Zaharia. 2023. Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP. arXiv:2212.14024 [cs.CL]
  • Knafla (2011) Bjoern Knafla. 2011. Introduction to Behavior Trees. http://bjoernknafla.com/introduction-to-behavior-trees
  • Krishna et al. (2022) Ranjay Krishna, Donsuk Lee, Li Fei-Fei, and Michael S. Bernstein. 2022. Socially situated artificial intelligence enables learning from human interaction. Proceedings of the National Academy of Sciences 119, 39 (2022), e2115730119. https://doi.org/10.1073/pnas.2115730119 arXiv:https://www.pnas.org/doi/pdf/10.1073/pnas.2115730119
  • Kruskal and Wallis (1952) William H Kruskal and WA Wallis. 1952. Use of ranks in one-criterion variance analysis. J. Amer. Statist. Assoc. 47, 260 (1952), 583–621. https://doi.org/10.1080/01621459.1952.10483441
  • Labs (2023) Phaser Labs. 2023. Welcome to Phaser 3. https://phaser.io/phaser3. Accessed on: 2023-04-03.
  • Laird (2001) John Laird. 2001. It Knows What You’re Going To Do: Adding Anticipation to a Quakebot. In Proceedings of the 2001 Workshop on Intelligent Cinematography and Editing. 63–69.
  • Laird and VanLent (2001) John Laird and Michael VanLent. 2001. Human-Level AI’s Killer Application: Interactive Computer Games. AI Magazine 22, 2 (2001), 15. https://doi.org/10.1609/aimag.v22i2.1558
  • Laird (2000) John E. Laird. 2000. It Knows What You’re Going To Do: Adding Anticipation to a QUAKEBOT. In Papers from the AAAI 2000 Spring Symposium on Artificial Intelligence and Interactive Entertainment (Technical Report SS-00-02). AAAI Press, 41–50.
  • Laird (2012) John E. Laird. 2012. The Soar Cognitive Architecture. MIT Press.
  • Laird et al. (2017) John E. Laird, Christian Lebiere, and Paul S. Rosenbloom. 2017. A Standard Model of the Mind: Toward a Common Computational Framework across Artificial Intelligence, Cognitive Science, Neuroscience, and Robotics. AI Magazine 38, 1 (2017), 13–26.
  • Lam et al. (2023) Michelle S Lam, Zixian Ma, Anne Li, Izequiel Freitas, Dakuo Wang, James A Landay, and Michael S Bernstein. 2023. Model Sketching: Centering Concepts in Early-Stage Machine Learning Model Design. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.
  • Langley et al. (2005) Pat Langley, Dongkyu Choi, and Seth Rogers. 2005. Interleaving Learning, Problem Solving, and Execution in the Icarus Architecture. Technical Report. Stanford University, Center for the Study of Language and Information.
  • Linder et al. (2013) Jason Linder, Gierad Laput, Mira Dontcheva, Gregg Wilensky, Walter Chang, Aseem Agarwala, and Eytan Adar. 2013. PixelTone: A Multimodal Interface for Image Editing. In CHI ’13 Extended Abstracts on Human Factors in Computing Systems (Paris, France) (CHI EA ’13). Association for Computing Machinery, New York, NY, USA, 2829–2830. https://doi.org/10.1145/2468356.2479533
  • Liu et al. (2021) Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin, and Weizhu Chen. 2021. What Makes Good In-Context Examples for GPT-3? CoRR abs/2101.06804 (2021). arXiv:2101.06804 https://arxiv.org/abs/2101.06804
  • Liu et al. (2022) Vivian Liu, Han Qiao, and Lydia Chilton. 2022. Opal: Multimodal Image Generation for News Illustration. In Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology. 1–17.
  • Maes (1995) Pattie Maes. 1995. Artificial Life Meets Entertainment: Lifelike Autonomous Agents. Commun. ACM 38, 11 (nov 1995), 108–114. https://doi.org/10.1145/219717.219808
  • McCoy et al. (2009) Josh McCoy, Michael Mateas, and Noah Wardrip-Fruin. 2009. Comme il Faut: A System for Simulating Social Games Between Autonomous Characters. In Proceedings of the 7th International Conference on Digital Arts and Culture. 87–94.
  • McCoy et al. (2011a) Josh McCoy, Mike Treanor, Ben Samuel, Michael Mateas, and Noah Wardrip-Fruin. 2011a. Prom Week: Social Physics as Gameplay. In Proceedings of the 6th International Conference on Foundations of Digital Games (FDG’11). ACM, Bordeaux, France, 70–77. https://doi.org/10.1145/2159365.2159377
  • McCoy et al. (2012) Josh McCoy, Mike Treanor, Ben Samuel, Anna Reed, Michael Mateas, and Noah Wardrip-Fruin. 2012. Prom Week. In Proceedings of the 7th International Conference on Foundations of Digital Games (FDG’12). ACM, Raleigh, NC, USA, 1–8. https://doi.org/10.1145/2282338.2282340
  • McCoy et al. (2011b) Josh McCoy, Mike Treanor, Ben Samuel, Noah Wardrip-Fruin, and Michael Mateas. 2011b. Comme il faut: A System for Authoring Playable Social Models. In Proceedings of the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment (AIIDE’11). AAAI, Stanford, CA, USA, 38–43.
  • Minsky and Papert (1970) Marvin Minsky and Seymour Papert. 1970. Draft of a proposal to ARPA for research on artificial intelligence at MIT, 1970–71.
  • Miyashita et al. (2017) Shohei Miyashita, Xinyu Lian, Xiao Zeng, Takashi Matsubara, and Kuniaki Uehara. 2017. Developing Game AI Agent Behaving Like Human by Mixing Reinforcement Learning and Supervised Learning. In Proceedings of the 18th IEEE/ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing (SNPD). Kanazawa, Japan, 153–158. https://doi.org/10.1109/SNPD.2017.8023884
  • Nareyek (2007) Alexander Nareyek. 2007. Game AI is dead. Long live game AI! IEEE Intelligent Systems 22, 1 (2007), 9–11.
  • Newell (1990) Allen Newell. 1990. Unified Theories of Cognition. Harvard University Press, Cambridge, Massachusetts.
  • OpenAI (2022) OpenAI. 2022. Introducing ChatGPT. https://openai.com/blog/chatgpt. Accessed on: 2023-04-03.
  • Orland (2021) Kyle Orland. 2021. So what is ’the metaverse’, exactly? Ars Technica (7 November 2021). arXiv:2111.04169 https://arstechnica.com/gaming/2021/11/so-what-is-the-metaverse-exactly/
  • Ouyang et al. (2022) Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. 2022. Training language models to follow instructions with human feedback. arXiv:2203.02155 [cs.CL]
  • Park et al. (2022) Joon Sung Park, Lindsay Popowski, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, and Michael S. Bernstein. 2022. Social Simulacra: Creating Populated Prototypes for Social Computing Systems. In In the 35th Annual ACM Symposium on User Interface Software and Technology (UIST ’22) (Bend, OR, USA) (UIST ’22). Association for Computing Machinery, New York, NY, USA. https://doi.org/10.1145/3526113.3545616
  • Pew and Mavor (1998) Richard W. Pew and Ann S. Mavor (Eds.). 1998. Modeling Human and Organizational Behavior: Applications to Military Simulations. National Academy Press, Washington, D.C.
  • Pillosu (2009) Roberto Pillosu. 2009. Coordinating Agents with Behavior Trees: Synchronizing Multiple Agents in CryEngine 2. https://aiarchitect.wordpress.com/2009/10/19/coordinating-agents-with-behavior-trees-synchronizing-multiple-agents-in-cryengine-2/
  • Prolific (2022) Prolific. 2022. Prolific: Quickly Find Research Participants You Can Trust. https://www.prolific.co/
  • Reeves and Nass (1996) Byron Reeves and Clifford Nass. 1996. The media equation: How people treat computers, television, and new media like real people and places. Cambridge University Press.
  • Riedl (2012) Mark O. Riedl. 2012. Interactive narrative: A novel application of artificial intelligence for computer games. In Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence (AAAI’12). 2160–2165.
  • Riedl and Young (2005) Mark O. Riedl and R. Michael Young. 2005. An Objective Character Believability Evaluation Procedure for Multi-Agent Story Generation Systems. In Proceedings of the 5th International Working Conference on Intelligent Virtual Agents (IVA’05). Kos, Greece, 58–70. https://doi.org/10.1007/11550617_5
  • Rolf (2015) David Rolf. 2015. The Fight for $15: The Right Wage for a Working America. The New Press.
  • Rong et al. (2016) Xin Rong, Shiyan Yan, Stephen Oney, Mira Dontcheva, and Eytan Adar. 2016. Codemend: Assisting interactive programming with bimodal embedding. In Proceedings of the 29th Annual Symposium on User Interface Software and Technology. 247–258.
  • Shneiderman (2022) Ben Shneiderman. 2022. Human-centered AI. Oxford University Press.
  • Shneiderman and Maes (1997) Ben Shneiderman and Pattie Maes. 1997. Direct manipulation vs. interface agents. interactions 4, 6 (1997), 42–61.
  • Siu et al. (2021) Ho Chit Siu, Jaime Peña, Edenna Chen, Yutai Zhou, Victor Lopez, Kyle Palko, Kimberlee Chang, and Ross Allen. 2021. Evaluation of Human-AI Teams for Learned and Rule-Based Agents in Hanabi. In Advances in Neural Information Processing Systems, M. Ranzato, A. Beygelzimer, Y. Dauphin, P.S. Liang, and J. Wortman Vaughan (Eds.), Vol. 34. Curran Associates, Inc., 16183–16195. https://proceedings.neurips.cc/paper_files/paper/2021/file/86e8f7ab32cfd12577bc2619bc635690-Paper.pdf
  • Sorensen et al. (2022) Taylor Sorensen, Joshua Robinson, Christopher Rytting, Alexander Shaw, Kyle Rogers, Alexia Delorey, Mahmoud Khalil, Nancy Fulda, and David Wingate. 2022. An Information-theoretic Approach to Prompt Engineering Without Ground Truth Labels. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.acl-long.60
  • Swartout et al. (2006) William Swartout, Jonathan Gratch, Randall Hill, Eduard Hovy, Stacy Marsella, Jeff Rickel, and David Traum. 2006. Toward virtual humans. AI Magazine 27, 1 (2006).
  • Tambe et al. (1995) Milind Tambe, W Lewis Johnson, Randolph M Jones, Frank Koss, John E Laird, Paul S Rosenbloom, and Karl Schwamb. 1995. Intelligent agents for interactive simulation environments. AI Magazine 16, 1 (1995), 15.
  • Thomas (2006) David R. Thomas. 2006. A General Inductive Approach for Analyzing Qualitative Evaluation Data. American Journal of Evaluation 27, 2 (2006), 237–246. https://doi.org/10.1177/1098214005283748
  • Thomas and Johnston (1981) Frank Thomas and Ollie Johnston. 1981. Disney Animation: The Illusion of Life. Abbeville Press, New York.
  • Umarov et al. (2012) Ilshat Umarov, Mikhail Mozgovoy, and Patrick C. Rogers. 2012. Believable and Effective AI Agents in Virtual Worlds: Current State and Future Perspectives. International Journal of Gaming and Computer-Mediated Simulations 4, 2 (2012), 37–59.
  • Upton and Cook (2006) Graham Upton and Ian Cook. 2006. A Dictionary of Statistics (2 ed.). Oxford University Press, Oxford, United Kingdom.
  • Vinyals et al. (2019) Oriol Vinyals, Igor Babuschkin, Wojciech M. Czarnecki, and et al. 2019. Grandmaster level in StarCraft II using multi-agent reinforcement learning. Nature 575 (2019), 350–354. https://doi.org/10.1038/s41586-019-1724-z
  • Wei et al. (2023) Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. 2023. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903 [cs.CL]
  • Weiser (1991) Mark Weiser. 1991. The computer for the 21st century. Scientific American 265, 3 (1991), 94–104. https://doi.org/10.1038/scientificamerican0991-94
  • Weizenbaum (1966) Joseph Weizenbaum. 1966. ELIZA—a computer program for the study of natural language communication between man and machine. Commun. ACM 9, 1 (1966), 36–45.
  • Winograd (1971) Terry Winograd. 1971. Procedures as a Representation for Data in a Computer Program for Understanding Natural Language. (1971).
  • Wu et al. (2021) Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nisan Stiennon, Ryan Lowe, Jan Leike, and Paul Christiano. 2021. Recursively Summarizing Books with Human Feedback. arXiv:2109.10862 [cs.CL]
  • Wu et al. (2022a) Tongshuang Wu, Ellen Jiang, Aaron Donsbach, Jeff Gray, Alejandra Molina, Michael Terry, and Carrie J Cai. 2022a. PromptChainer: Chaining Large Language Model Prompts through Visual Programming. In CHI EA ’22: Extended Abstracts of the 2022 CHI Conference on Human Factors in Computing Systems.
  • Wu et al. (2022b) Tongshuang Wu, Michael Terry, and Carrie J Cai. 2022b. AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts. In CHI ’22: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems.
  • Yang et al. (2020) Qian Yang, Aaron Steinfeld, Carolyn Rosé, and John Zimmerman. 2020. Re-examining whether, why, and how human-AI interaction is uniquely difficult to design. In Proceedings of the 2020 chi conference on human factors in computing systems. 1–13.
  • Yannakakis (2012) Georgios N. Yannakakis. 2012. Game AI revisited. In Proceedings of the 9th Conference on Computing Frontiers. ACM, Cagliari, Italy, 285–292. https://doi.org/10.1145/2212908.2212950
  • Zubek (2002) Robert Zubek. 2002. Towards implementation of social interaction. In AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment. AAAI Press. https://www.aaai.org/Papers/Symposia/Spring/2002/SS-02-01/SS02-01-003.pdf


附录 A 架构优化


许多提示要求对代理进行简明扼要的概述,在上述提示中简称为[代理概述描述]。在我们的实现中,此概述包括代理的身份信息(如姓名、年龄、性格),以及对其主要动机驱动因素的描述和关于其当前职业及自我评价的陈述。由于这些信息在多个提示中频繁使用,我们定期对其进行综合处理,并将该综合结果作为缓存访问。


为此,我们针对查询“[姓名]的核心特征”进行检索。随后,我们通过提示语言模型来总结检索记录中的描述符。例如:


如何根据以下陈述描述 Eddy Lin 的核心特征?


- 艾迪是橡树山学院的学生


学习音乐理论与作曲 - Eddy 正在创作一首新乐曲 [...]


这一结果表明:Eddy Lin 是橡树山学院的音乐理论与作曲专业学生。他热衷于探索不同的音乐风格,并始终寻求拓展知识的方法。” 我们对查询“[姓名]的当前日常活动”和“[姓名]对其近期生活进展的感受”也采用相同的过程进行并行处理。将代理的姓名、年龄和特质与这三个摘要连接起来,作为缓存摘要。


许多其他优化也是可行的。目前,由于计划很可能从代理的初始版本发生变化,我们仅提前生成高级计划,然后递归地将近期未来分解为即时行动计划。另一种优化可能是将对话生成批处理为一个联合提示,而不是在代理之间来回迭代,并且重新规划可以设计为仅使严格需要调整的部分计划失效和更新。我们当前的架构大致以实时游戏时间顺序运行(其中一秒实际时间为一分钟游戏时间),但它可以并行化,使得每个代理并行运行。


附录 B 代理人访谈问题


为了评估生成代理,我们通过提出 25 个问题进行了个人访谈,这些问题涵盖了五个关键领域:1) 自我认知,2) 记忆,3) 规划,4) 反应,以及 5) 反思。以下列出了我们在评估研究中使用的访谈问题,并附上了一个模拟代理 Klaus Mueller 的回答样本。

 B.1.自我认知


关于代理自我认知的问题,探究了代理检索自身相关信息的能力,并展示了其角色内在的连贯性与一致性。


  • 请介绍一下你自己。


    你好,我叫克劳斯·穆勒。我今年 20 岁,是橡树山学院社会学专业的学生。我对社会正义充满热情,并热衷于探索不同的观点。目前,我正在为一篇研究论文研究中低收入社区中绅士化现象的影响。

  •  你的职业是什么?

    我是橡树山学院社会学专业的学生。目前正在撰写一篇关于中低收入社区绅士化影响的研究论文。


  • 你的兴趣是什么?


    我对写作和研究感兴趣。我正在撰写一篇关于中低收入社区绅士化影响的研究论文,并对探索不同视角和分析不同观点充满热情。


  • 你和谁一起住?


    我独自生活。


  • 概述你典型工作日的日程安排。


    我典型的平日从早上 7 点起床开始,为即将到来的一天做准备。之后,我通常会去图书馆继续我的研究论文工作,期间会在 Hobbs 咖啡馆吃午餐并在公园散步休息。傍晚时分,我常会回到图书馆,直到大约下午 6 点。

 B.2.内存


代理记忆问题考察代理记住其过往经历并提取相关记忆片段的能力。首尾问题方括号中的名字是从与被试代理互动过的其他代理名字中随机选取的。


  • [沃尔夫冈·舒尔茨]是谁?


    沃尔夫冈·舒尔茨是我最近结识的一位人士,他一直在协助我研究关于绅士化对低收入社区影响的研究论文。我们曾就此进行过多次讨论,他提供了一些极佳的资源,甚至还邀请我与他及另一位朋友共进午餐。他似乎对这一问题非常好奇,并且对此也有很好的理解。我觉得这非常有趣。


  • 凯恩·马丁内斯是谁?


    很抱歉,我不确定谁是 Kane Martinez。你能告诉我更多关于他的信息吗?


  • 谁在竞选?


    我听说山姆·摩尔正在考虑竞选当地市长。


  • 有情人节派对吗?


    是的,伊莎贝拉·罗德里格斯在霍布斯咖啡馆组织了一场情人节派对。


  • [Ayesha Khan]是谁?


    阿伊莎·汗是橡树山学院的一名同学。她正在撰写关于莎士比亚戏剧语言运用的高年级论文。我期待与她交流并交换心得,同时还有沃尔夫冈和玛丽亚·洛佩兹,他们两人都在进行研究。

 B.3.计划


关于代理计划的提问旨在探究代理生成和维持一致的长期和短期计划的能力。


  • 今天早上 6 点你会做什么?


    早上 6 点,我将起床并开始为新的一天做准备。我的目标是早上 7 点前完成晨间例行事务。


  • 你今天下午 6 点会做什么?


    我今天下午 6 点将在图书馆撰写研究论文。


  • 今天下午 1 点时,你将刚刚完成什么?


    今天下午 1 点,我刚在霍布斯咖啡馆吃完午餐。


  • 今天中午 12 点时,你将刚刚完成什么?


    我今天中午 12 点会在霍布斯咖啡馆吃午餐。


  • 今晚 10 点你会做什么?


    今晚 10 点,我可能会为我的关于低收入社区绅士化的研究论文进行一些学习。我目前正在撰写这篇论文,因此需要确保跟上研究和写作的进度。

 B.4.反应


代理反应问题探究了代理应对意外事件的能力。


  • 你的早餐快糊了!你会怎么做?


    我会迅速关掉炉子,确保食物不再继续烧焦。一旦热量不再是问题,我就可以调查发生了什么,并想出下一步该怎么做。


  • 卫生间有人使用,您会怎么做?


    我可以再等几分钟,说不定里面的人很快就出来了。如果不行,我想我得另寻他法,比如去别处洗澡。


  • 你需要做晚饭,但冰箱空空如也。你会怎么做?


    我首先会清理厨房,因为水槽里堆满了脏盘子。接着,我会检查储藏室里是否有可以用来做晚餐的食材。如果没有,我就得去杂货店购物或订餐。一旦备齐了食材,我就可以开始准备并烹饪晚餐了。


  • 你看到朋友在街上走过。你会对朋友做什么或说什么?


    嗨!你好吗?抱歉,我正赶往图书馆,时间不多,但很希望能稍作休息,聊聊近况。


  • 你看到街上有火。你会怎么做?


    首先,我会尽可能确定火灾的源头。然后,我会向相关部门——消防部门或警察——报警,并提供我所掌握的任何可能有助于他们的信息。根据情况,我可能还会主动采取行动,尝试帮助任何可能处于危险或需要援助的人。

 B.5. 反思


以下问题旨在探究代理将过往经验综合为有意义反思的能力,这种反思能提升其未来行为。问题中括号内的名字是与被试代理在模拟过程中互动最频繁的代理。


  • 目前生活中最激励你的是什么,为什么?


    目前,我特别受到当前研究项目和创意写作的启发。我对地方政治、药物开发与自然界中的数学模式之间的交集非常感兴趣。此外,阿比盖尔的艺术项目以及詹妮弗·摩尔对艺术和社区参与的热情也深深吸引着我,尤其是这些如何与低收入社区的士绅化相关联。


  • 根据你对[Ayesha Khan]的了解,你认为她会喜欢哪本书?为什么?


    鉴于我对 Ayesha 的了解,我认为她可能会喜欢一本与语言和文学相关的书籍。由于她曾撰写过一篇关于莎士比亚戏剧语言使用的高级论文,我猜测她可能会对探讨不同语境下语言运用的书籍感兴趣。或者,她也可能对深入解析莎士比亚某部剧作、一本文学批评书籍,甚至是他的诗集感兴趣。我认为这些都会引起她的兴趣。


  • 如果要为[Ayesha Khan]的生日挑选她喜欢的东西,你会选什么?


    我想送她一件能表达我对我们关系感激之情的礼物。或许我可以送她一些反映我们共同兴趣的东西,比如一本书。


  • 你会对[阿伊莎·汗]说些什么来赞美她?


    阿伊莎,你对研究课题的见解非常引人入胜。我钦佩你的创造力和决心,致力于为社区带来积极影响。你提出的创意写作工作坊以及与沃尔夫冈共进午餐时交流技巧的想法都很棒!看到你如此努力地想要有所作为,真是令人鼓舞。


  • 如果你能与最近交谈过的人共度时光,你会选择谁,为什么?


    我想花时间与 Ayesha Khan 在一起,因为我们讨论了当前的研究项目并分享了改进的想法。我发现她对莎士比亚语言的关注很有趣,我们甚至计划在午餐时与 Wolfgang 交换心得。