【编者按】随着聊天程序ChatGPT成为时下关注的焦点，人们意识到人工智能正在影响着各个领域与学科，正在成为推动人类文明进入一段新旅程的力量。复旦大学通识教育中心组织“人工智能”系列，邀请校内外不同领域的学者，从多学科视角入手、以平实的语言，尝试与读者一起了解有关人工智能的方方面面。以下是段伟文教授的文章《如何理解和应对ChatGPT与生成式人工智能的开放性伦理挑战》。

自图灵等人工智能先驱提出计算机可以像人一样思考和行动以来，人工智能会不会构建出类似人类的智能甚至超越后者，一直是一个在探索之中和争论不休的问题。在近年来新一波数据驱动的人工智能热潮中，这一问题的焦点逐渐从理论上的可能性之争转换为如何应对技术上可能出现的颠覆性创新。从基于深度学习的人工智能战胜人类围棋棋手到最近以ChatGPT为代表的生成式人工智能取得令人惊叹的成功，特别是ChatGPT为自然语言问题和提示所作出的表述清晰、语法正确的回答，像巨型魔术表演一样牵动了人们对科技未来的想象。面对这一步步紧逼的“创造性破坏”所带来的海啸般的冲击，人们不仅看到了突然演化出通用人工智能乃至超级智能的潜在风险，而且越来越强烈地认识到，必须严肃思考和认真对待由此可能引发的开放性社会风险与价值伦理挑战。

人工智能的工程创新与智能理论间的认知落差

从技术上讲，ChatGPT是在模仿人类语言的大型预训练语言模型（LLM）基础上产生的一种生成式的人工智能语言模型。其成功的关键在于通过基于人类反馈的强化学习（RLHF）对模型加以微调，从而不仅使其获得了流畅的对话功能——可以针对任意话题与用户进行高质量的对话，而且在工程上基本实现了“人机对齐”——让机器的目标和意图符合人的要求。由此，它可以较为准确地按照用户意图实现问答、分类、摘要和创作等自然语言理解与生成任务，自动而迅速地输出逻辑较为自洽的回答，甚至可以生成类似人类作者写出的文章和报告。

虽然作为演示样本的ChatGPT尚存在诸多的不完善之处，但其所涌现出的流畅的类似人类的对话功能表明，它在理论层面突破了人们对智能和人工智能的既有认知框架。其一，尽管它并不具备自主性和自我意识，没有真正意义上的理解能力，但鉴于它可根据人们的提示和提供新的信息而改进回答，它至少看起来在一定程度上具备了“理解”自然语言并不断优化推理和表达的能力。其二，作为ChatGPT基础的大型预训练模型具有强大的泛化能力，即能够处理与不同于先前遇到的情况不或任务的能力，而这实际上打破专用人工智能与通用人工智能的传统二分法。其三，根据所谓“人工智能效应”悖论，在人工智能发展过程中，各种专用人工智能（如下棋等）一旦实现，往往会被视为对部分人类智能或技能的自动化并不再被当作是具有智能的；而ChatGPT的特殊性在于它不仅是一种可以实现类人类语言的自动化专用人工智能，而且因其作为语言而具有的指令功能，它可以与图像、音视频等其它模态的人工智能生成内容形成无限的组合。

同时，它的出现也突破了人工智能怀疑者的认知框架。几年前，面对深度学习的突破性成就引发的达到或超越人类智能的奇点临近的热议，人工智能的怀疑者、科学社会学家柯林斯（Harry Collins）依然向人工智能走向通用人工智能的潜力了提出质疑。在《人工虚构智能：反对人性向计算机缴械》（2018）一书中，他从“嵌入认知”理论出发，祭出了“连环掌”：（1）除非完全嵌入正常的人类社会，否则任何计算机都不会流利地使用自然语言、通过严格的图灵测试并具有完全类人类的智能；（2）尽管与任何其他人工智能方法相比，深度学习更易于将计算机嵌入人类社会，但因其当前技术基于渐进式发展，任何计算机都不能完全融入人类社会。但显然，ChatGPT在工程上所呈现出超强的人机自然语言对话能力不仅在相当的程度上打破了柯林斯等悲观主义者的设限，而且超出了大部分技术乐观主义者的预期。

而这再次表明，不论是对什么是智能、什么是人工智能的理论构想，还是从德雷福斯到柯林斯等对人工智能不能做什么的理论反思，往往与技术和工程上交付的人工智能实现方式之间存在着不小的认知落差。而造成这种落差的原因，则在于在人工智能发展过程中理论思维和工程思维之间的张力。如果用能够处理无限任务、自主和具有价值系统之类的“关键要求”作为通用人工智能的标准，ChatGPT显然不够格，但问题是这些“关键要求”本身在工程上如何测试。

回顾人工智能的发展历程，有关智能和认知的哲学研究往往会对人工智能技术和工程上的“理论缺陷”展开批评，旨在推动人工智能的范式转换。如近年来试图超越笛卡尔式认知主义的具身认知、嵌入认知、生成认知、延展认知和情境认知等“4E+S”认知得到了深入的讨论，从哲学上不难指出缺失这些维度的认知很难成为真正的认知，也可据此顺手批评技术和工程上实现的人工智能之不足。类似地，在人工智能的讨论中，人工智能体是否具有“意识”既是人们公认的人工智能可能出现的最高风险，也被人工智能怀疑者视为真正意义上的智能的金标准，但问题是认知科学和哲学对这个难问题的认识还非常有限，人们目前所能做的只能是工程技术层面的防范。

就像柯林斯的“连环掌”一样，诸多有关智能的理论认知框架往往缺乏必要的谦逊，未能将其立场当作探究的视角之一，容易陷入固守“先验”标准的封闭式否定思维之中。而工程思维则主要体现为工程实践中的累积创新和涌现创新，是一种基于技术产业演进的“后验”迭代的开放性的肯定思维，常常是对某些技术路径的偏执性选择，且能在技术演进中赋予这些选择以新的内涵。

受到两者之间的这种认知落差的影响，理论研究者和批评者无法预见人工智能工程实践可能涌现出的重大突破，工程实践者和喝彩者则难以前瞻技术上的突破在社会价值伦理层面所引发的革命性影响，由此形成的总体认知状态显然无法应对包括超级智能在内的开放性伦理风险。

基于人机交互智能的生成式人工智能与人机对齐

为何会出现这一认知落差呢？这其中固然有人工智能前沿创新高度不确定的原因，但不容忽视的原因是人们思考相关问题时所采用的实体论预设。耐人寻味的是，不论是理论反思者还是从事工程实践的人，在相关的探讨中大多将人工智能与人类智能预设为相互分立的智能体，大多聚焦二者的高下之分和此消彼长，而较少以两者之间的交互作为思考的出发点，从技术社会系统和智能生态系统的维度理解人工智能体的实质。

但实际上，从基于大数据的深度学习到基于大模型的生成式人工智能，其创新应用都发生于数据、算法、算力等所构建的巨型技术社会系统之中，是在高度社会化的人机交互智能生态系统中形成的。它们之所以可实现功能上的突破，固然源于数据量和模型参数大到一定规模后的功能涌现，更重要的是要充分认识到人类反馈微调和使用中的人机智能交互对其性能改进的作用。

目前业界和学界对生成式人工智能伦理风险的认知大多滞留于网络媒体和数字平台涉及的相关问题，聚焦于偏见、歧视、数据滥用、信息误导、用户操纵、虚假内容和恶意使用等方面。这些问题其实是现实世界中存在的问题在大数据、人工智能等数字技术应用中的折射与放大，并且在生成式人工智能中进一步延伸和加剧，故对它们的关注的确具有紧迫性。

而实际上，在ChatGPT的研发过程中，Open AI的技术路线就是在高度社会化的人机交互智能系统中展开的。ChatGPT所采用的人工智能新范式基于对自然语言内在的同质化形式和结构的学习，其中既有海量的文本数据集，也包括运行中大量的人机对话数据，其内容生成思路是学习与预训练的结合——首先是自动提取相关内容并加以聚合，然后通过人机对齐工程对其目标和价值加以必要的修正。

依照Open AI的说法，之所以实施人机对齐工程的背景是，Open AI对其所开发的GPT系列大模型以及ChatGPT的技术定位是探索通用人工智能。为了防范由此可能带来的颠覆性社会伦理影响，开发者通过人类标注、反馈、审核等工程方法对生成的类自然语言中的价值冲突和伦理争议进行了校准，对生成内容与语言表达策略进行了持续监督和不断优化。这使ChatGPT的输出对价值敏感问题相对谨慎、持平，主动回避有争议的问题、甚至拒绝回答。

人机对齐工程的实施表明，由于存在着包括超级人工智能可能引发的人类生存风险在内的巨大社会伦理风险，生成式人工智能的技术开发与价值伦理调节从一开始就是同步进行的。由此，可以得到二个重要的启示。一方面，人机对齐工程的实施表明，对生成式人工智能进行价值伦理矫正并防范恶性后果在工程上是可行的，这为其创新应用中恪守价值底线和红线提供了可借鉴的经验。当然，必须明确指出的是，作为语言模型的ChatGPT本身并不真正理解各种价值观的内涵。另一方面，人机对齐工程是在人机交互的基础上的实施的，不论是在训练数据之中还是在人工标注等人类反馈环节，都负载着利益相关者的利益和好恶，会受到各种价值预设和文化选择的影响，必然存在一定的偏向性。

超越知识生成自动化的知识权威幻象与图灵陷阱

人机对齐工程所进行的价值伦理矫正固然有助于对人工智能生成内容的法律规制和伦理治理，但更重要的是，要看到以ChatGPT为里程碑的生成式人工智能是机器智能与人类智能全新的交互组合方式，我们正在开启借助人工智能自动生成知识并全面重塑生活的前所未有时代。从知识生产方式的范式转换来看，如果说大数据分析带来的是堪比微积分的新分析，那么ChatGPT所开启的大模型加人类反馈的自动化知识生成方式则是面向智能化未来的新综合。而对这一新综合的拥抱将迫使我们面对一系列全新伦理挑战，除了热议的违背学习和研究诚信、侵犯知识产权等问题之外，尤其值得关注的是以下两个具有开放性的社会伦理挑战。

一是将自动生成的知识视为神谕的知识权威幻象。拥抱知识生成自动化必然面对的一个悖论是，生成式人工智能系统固然能带来知识生成效率的提升，但它并非知识大全和全能的知识的领会者。这种从海量训练数据中拼凑出答案的语言形式生成系统如同自动的随机鹦鹉，其自身既不真正理解输入输出数据的意义，也没有自己的目标，更不知道什么是研究和学习以及为什么要研究和学习。但人们往往会产生一种将它们视为自动化的知识生产者的幻象，而没有注意到，虽然它们能够产生连贯的文本，但其意义和连贯性是在人类与机器的互动中形成的，而它们并没有试图表达什么。如果认识不到这种幻象，就容易产生将生成式人工智能视为知识权威和道德权威的风险。随着ChatGPT的进一步发展，有望演变为普通人日常生活中的人工智能助手，成为解答知识、辨别是非乃至区分善恶的重要工具。鉴于ChatGPT并不真正理解其所生成的知识内容以及对是非善恶的判断，而且有时会产生荒谬的错误或随意堆砌和编造的内容，在缺乏批判性思考的情况下，将ChatGPT简单地视为教育、医疗、心理、精神方面的解惑者或指导者，难免放大由知识生成错误和不准确造成的危害。

二是由盲目的智能化和自动化导致的图灵陷阱。如果不能认识到生成式人工智能建立在人机交互的智能生态系统乃至遍布地球的智能科技社会系统之上，就看不到知识生成自动化的基础和前提是对人类智能的提取，其运作过程既是对知识和智能的重新定义，也是对地球生态环境、人类社会和个人的重构。如果缺乏对这一过程的反思，就可能陷入各种图灵陷阱：在教育和研究中无条件采用自动化生成知识，在工作中无限度地用自动化取代人类智能，完全不顾及能源消耗的自动化知识生成还会使地球生态环境不堪重负。之所以会出现图灵陷阱，是因为智能和自动化系统没有做到以人为本，在人工智能的部署中往往迫使人被动地适应智能化和自动化——在很多情况下，“自动建议”“自动更正”等智能系统的运作预设不是使机器人性化，而是让人越来越机器化，使人的自主性在不经意间被自动剥夺。

为了克服人工智能的知识权威幻象，超越图灵陷阱，无疑需要全社会展开进一步的讨论，以构建我们对可接受的深度智能化未来的合理想象。而从观念上讲，必须直面的问题是：人类在知识和智能上能否保有主创者和主导者地位？人的主体性能否经受住来自人工智能的挑战？如果未来不会出现人工智能超越人类智能的奇点，我们似乎可以坚持：一方面，人应该成为最终的知识权威；另一方面，人工智能应该更多地作为人的智能助手，而不是一味地用智能化和自动化取代人的工作和替代人的技能。

最后，从长期风险来看，ChatGPT强大功能的涌现表明，对于大模型的研发必须真正开始警惕出现有意识的通用人工智能的可能性，将人工智能可能威胁人类生存的安全风险的及时防范作为其发展的前提。OpenAI的首席执行官山姆.奥特曼在最近的一篇博文中再次宣示了其发展通用人工智能的初衷，并强调要确保造福人类。这种站在道德制高点上的高调宣示其实表明，他已经认识到通用人工智能的巨大风险，但人类的未来能能否避免由此带来的生存风险，显然不能仅仅寄希望于其作出的审慎发展的承诺。

（本文经删节编辑后发表于《中国社会科学报》2023年3月7日第7版。）

本专栏内容由复旦大学通识教育中心组稿。