·“可能下个十年我们会有非常强大的AI系统，新技术从根本上改变世界的速度比我们想象的快。未来的AGI系统或许具有10万行二进制代码，人类监管人员不太可能发现这样的模型是否在做一些邪恶的事情。因此，OpenAI正在致力于一些新的和互补的研究方向，希望能实现突破。”

·“我们需要国际合作，以可核查的方式建立对安全开发日益强大的AI系统的国际间信任。我并不妄想这是一件容易的事，需要投入大量和持续的关注。”奥特曼引用《道德经》：“千里之行，始于足下”。

OpenAI联合创始人山姆·奥特曼（Sam Altman）在2023北京智源大会上隔空对话智源人工智能研究院理事长张宏江。

“距离通用人工智能（AGI）还有多远？”似乎OpenAI联合创始人山姆·奥特曼（Sam Altman）总是被问到这个问题。6月10日，在2023北京智源大会上对话智源人工智能研究院理事长张宏江时，他给出的答案是：“这很难评估具体时间，可能下个十年我们会有非常强大的AI系统，新技术从根本上改变世界的速度比我们想象的快。”

奥特曼再次被问到有关GPT-5的计划，他重申不会很快部署GPT-5，未来会有更多开源大模型，但没有具体模型和时间表。

奥特曼表示，他正在进行环球之旅，目前已经去过五个大洲的近20个国家，与学生、开发人员和国家元首会面。事实上，他目前就在亚洲。“我们看到了世界各地的人们都已经在使用AI技术，以令人难以置信的方式改变生活。我们也收到了来自用户的宝贵反馈，告诉我们如何能使这些工具变得更好。我们还有机会与外国领导人进行有意义的对话，讨论需要建立的监管安全措施，以确保安全和可靠地部署日益强大的人工智能系统。”

“随着日益强大的AI系统的出现，全球合作的赌注从未如此之大。”奥特曼表示，“真心希望我们都能同意，推进AGI（通用人工智能）安全是我们需要找到共同利益点的最重要领域之一。”

奥特曼特别提到中国应该在人工智能安全方面发挥关键作用，“中国拥有一些世界上最优秀的人工智能人才，从根本上说，鉴于解决先进人工智能系统对齐（alignment）问题的困难，这需要来自世界各地的最优秀人才。”

具体而言，奥特曼认为，推进AGI安全的第一点是AGI治理。“AGI是一种从根本上改变我们文明的强大力量，这意味着有意义的国际合作和协调是极其必要的。如果国际间能够合作治理，那么我们每一个人都能受益。”国际合作中，他提出两个最重要的关键领域：建立国际规范和标准，以及在过程中注重包容性。“在任何国家使用AGI系统，都应平等而一致地遵循这样的国际标准和规范。”

第二，“我们需要国际合作，以可核查的方式建立对安全开发日益强大的AI系统的国际间信任。我并不妄想这是一件容易的事，需要投入大量和持续的关注。”他引用《道德经》：“千里之行，始于足下”。

奥特曼认为，目前可以迈出的最有建设性的一步是与国际科技界合作，特别是推动建立提高AGI安全技术进步方面的透明度和知识共享的机制。当研究人员发现新出现的安全问题时，他们应为了人类更大的利益分享自己的发现。人们需要认真思考如何在尊重和保护知识产权的同时，鼓励这样的规范。这可以为人们深化合作打开新的大门。

在回答张宏江关于OpenAI是否会开源大模型时，奥特曼透露，未来会有更多开源大模型。

奥特曼呼吁，应该在促进和引导AI对齐和安全研究方向进行投资。基于OpenAI自己的经验，他分享道，“在如何让人工智能系统成为一个更安全有用的系统的技术问题上，我们进行AI对齐研究。这可能指向，我们该如何训练ChatGPT，使其不进行暴力威胁或协助用户进行有害的活动。”

从GPT-4完成预训练到部署，奥特曼称OpenAI专门花了8个月时间来进行对齐方面的工作。总的来说，他认为，GPT-4比OpenAI以前的任何模型都更加与人类对齐。

不过，对于更先进的系统，奥特曼也坦承，对齐仍然是一个未解决的问题，需要新的技术方法，同时增强治理和监督。

“我们想象一下，未来的AGI系统或许具有10万行二进制代码，人类监督员不太可能发现这样的模型是否在做一些邪恶的事情。”因此，OpenAI正在致力于一些新的和互补的研究方向，希望能实现突破。

其中一个是可扩展监督，尝试使用AI系统来协助人类监督其他AI系统。例如，可以训练一个模型来帮助人类监督发现其他模型输出中的缺陷。

第二是可解释性。“我们想尝试更好地了解这些模型内部发生了什么。我们最近发表了一篇论文，使用GPT-4来解释GPT-2中的神经元。在另一篇论文中，我们使用Model Internals（对一些本质可解释的模型，输出比如线性模型的权重）来检测一个模型何时在说谎。”奥特曼说。

这些行动的最终目标是，训练AI系统来帮助进行对齐研究。这种方法的好处在于，它可以随着AI的发展速度而扩展。

是否有可能需要更改AGI模型的整个基础架构或整个体系结构以让其更安全？奥特曼表示，无论是从功能角度还是从安全角度来看，确实需要一些非常不同的架构，这是完全可能的。

“我认为我们将能够取得一些进展，在解释我们目前各种模型的能力方面取得良好进展，并让他们更好地向我们解释他们在做什么以及为什么。如果在Transformer之后有另一个巨大的飞跃，我不会感到惊讶。自从最初的Transformer以来，我们已经改变了很多架构。”奥特曼说。

以下为演讲与问答实录，有部分删减：

每次我访问中国，遇到的技术人才都能使我惊奇和振奋。正如你前面提到的，我现在正处于环世界之旅的第四周。我已经去了五个大洲的近20个国家，与学生、开发人员和国家元首会面。

这次旅行对我是一种激励。我们看到了世界各地的人们都已经在使用AI技术，以令人难以置信的方式改变生活。我们也收到了来自用户的宝贵反馈，告诉我们如何能使这些工具变得更好。我们还有机会与外国领导人进行有意义的对话，讨论需要建立的监管安全措施，以确保安全和可靠地部署日益强大的人工智能系统。

整个世界现在都在集中注意力，想要解决当今的人工智能问题，这也是非常正确的、值得我们努力解决的重要议题。我们还有很多工作要做，但鉴于我们已经取得的进展，我相信我们一定会达到目标。

今天，我想谈一谈未来。具体来说，我想谈谈我们看到的人工智能能力的增长速度，以及我们现在需要做什么，从而为将它们部署到世界做好负责任的准备。

科学史告诉我们，技术进步遵循的是一条指数曲线。我们在几千年来的农业、工业和计算革命中都看到了这一点。而我们现在正在见证的人工智能革命影响如此之大的原因，不仅在于其影响的规模，也在于其进展的速度。它正在扩展人类想象力的边界，并以极快的速度进行着。

想象一下未来十年的世界，通常称为AGI的通用人工智能系统，在几乎所有领域的专业技能都超过了人类。这些系统产生的生产力最终可以超过我们最大公司所能产出的集体生产力。

潜在的红利是巨大的。人工智能革命可以创造人类共享的财富，而且可能大幅提高每个人的生活水平。但我们必须共同应对挑战，如气候变化和全球卫生安全，并以其他方式提高社会福祉。

我非常了解，大国之间有时可能会有分歧，从古至今都是如此。但即使在最困难的时期，大国们也找到了在最重要的事情上进行合作的方法。大国之间的合作促进了关键的医疗和科学进步，如根除脊髓灰质炎和天花等疾病，全球也共同努力减弱了气候变化风险。

随着日益强大的AI系统的出现，全球合作的赌注从未如此之大。如果我们不小心行事，建立了一个旨在改善公共卫生成果的AI系统，但却可能因为对齐出现问题，而向人们提供没有根据的医疗建议，反而破坏了整个医疗体系。同样，一个旨在优化农业实践的AI系统可能会由于缺乏对影响粮食生产和环境平衡的长期可持续性的考虑，而无意中耗尽自然资源或破坏生态系统。我真心希望我们都能同意，推进AGI安全是我们需要找到共同利益点的最重要的领域之一。

我想在接下来的发言中重点谈谈，我们可以从哪里开始。

第一个领域是AGI治理。AGI是一种从根本上改变我们文明的强大力量，这意味着有意义的国际合作和协调是极其必要的。如果国际间能够合作治理，那么我们每一个人都能受益。

如果我们安全和负责任地对其进行治理，AGI系统可以为全球经济创造无与伦比的经济财富，能够解决像气候变化、健康、安全这样的共同挑战，并以无数其他方式改善社会。我非常相信这样的未来将会到来，而我们所有居住在这个星球的人，需要共同投资于AGI的安全措施，才能到达、享受这样的未来。要做到这一点，需要大家认真合作。AGI是一个全球性的科技，也有着全球范围内的影响力。出现事故或者不负责任地发展，其代价会影响我们所有人。

国际合作中，我认为有两个关键领域最为重要。

首先，我们需要建立国际规范和标准，并在过程中注重包容性。在任何国家使用AGI系统，都应平等而一致地遵循这个国际标准和规范。在这些安全措施内，我们相信人们有充分的机会做出自己的选择。

第二，我们需要国际合作，以可核查的方式建立对安全开发日益强大的AI系统的国际间信任。我并不妄想这是一件容易的事，这需要投入大量和持续的关注。

《道德经》教育我们，千里之行，始于足下。我们认为，我们可以迈出的最有建设性的一步是与国际科技界合作，特别是推动建立提高AGI安全技术进步方面的透明度和知识共享的机制。当研究人员发现新出现的安全问题时，他们应为了人类更大的利益分享其发现。我们需要认真思考如何在尊重和保护知识产权的同时，鼓励这样的规范。这可以为我们深化合作打开新的大门。

更广泛地说，我们应该在促进和引导AI对齐和安全研究方向进行投资。在OpenAI，在如何让人工智能系统成为一个更安全有用的系统的技术问题上，我们进行AI对齐研究。这可能指向，我们该如何训练ChatGPT，使其不会发出暴力威胁或协助用户进行有害活动。

但随着我们日益接近AGI，没有对齐的AI系统的潜在影响力和影响规模将呈指数增长。现在积极主动地解决这些挑战，可以将未来出现灾难性结果的风险降到最低。

对于目前的系统，我们主要利用人类反馈强化学习来训练我们的模型，使其成为一个有帮助的安全助手。这只是各种训练后调整技术的一个例子。而且我们也在努力研究新的技术，其中需要很多艰苦的工程工作。

从GPT-4完成预训练到我们部署它，我们曾专门花了8个月时间来进行对齐方面的工作。总的来说，我们认为我们在这方面做得很好。GPT-4比我们以前的任何模型都更加与人类对齐。

然而，对于更先进的系统，对齐仍然是一个未解决的问题，我们认为这需要新的技术方法，同时增强治理和监督。想象一下，未来的AGI系统或许具有10万行二进制代码，人类监督者不太可能发现这样的模型是否在做一些邪恶的事情。因此，我们正在致力于一些新的和互补的研究方向，希望能实现突破。

其中一个是可扩展监督。我们可以尝试使用人工智能系统来协助人类监督其他人工智能系统。例如，我们可以训练一个模型来帮助人类监督发现其他模型输出中的缺陷。

第二个是可解释性。我们想尝试更好地了解这些模型内部发生了什么。我们最近发表了一篇论文，使用GPT-4来解释GPT-2中的神经元。在另一篇论文中，我们使用Model Internals来检测一个模型何时在说谎。我们还有很长的路要走。我们相信，先进的机器学习技术可以进一步提高我们解释的能力。

最终，我们的目标是训练AI系统来帮助进行对齐研究。这种方法的好处在于，它可以随着AI的发展速度而扩展。

获得AGI带来的非凡好处，同时降低风险，是我们这个时代的开创性挑战之一。我们看到中美两国和世界各地的研究人员有很大的潜力共同实现共同的目标，并致力于努力解决AGI对齐带来的突出技术挑战。

如果我们这样做，我相信我们将能够利用AGI来解决世界上最重要的问题，并极大地改善人类的生活质量。

对话实录：

智源人工智能研究院理事长张宏江：我们离人工智能还有多远？风险是不是很紧迫，还是我们离它还很遥远？无论是安全的人工智能，还是潜在的不安全的人工智能。

OpenAI创始人山姆·奥特曼：这很难评估具体时间。因为它需要新的研究思路，而这些思路并不总是按照规定的日程来发展。它可能很快就会发生，也可能需要更长的时间。我认为很难用任何程度的确定性来预测。

但我确实认为，在未来十年内，我们可能会拥有非常强大的人工智能系统。在这样的世界里，我认为解决这个问题是重要而紧迫的，这就是为什么我呼吁国际社会共同合作来解决这个问题。历史上确实给我们提供了一些新技术比许多人想象的更快改变世界的例子。我们现在看到的这些系统的影响和加速度，在某种意义上是前所未有的。所以我认为做好准备，让它尽快发生，并且解决好安全性方面的问题，考虑到它们的影响和重要性，是非常有意义的。

张宏江：你感觉到了一种紧迫感吗？

山姆·奥特曼：是的，我感觉到了。我想强调一下，我们并不真正知道。而且人工智能的定义也不同，但是我认为在十年内，我们应该为一个拥有非常强大系统的世界做好准备。

张宏江：你在刚才的演讲中也提到了几次全球合作。我们知道世界在过去六七十年里面临过很多危机。不过对于其中的很多危机，我们设法建立了共识和全球合作。你也正在进行一次全球之旅。你正在推动什么样的全球合作？你对目前收到的反馈感觉如何？

山姆·奥特曼：是的，我对目前收到的反馈非常满意。我认为人们非常认真地对待人工智能带来的风险和机遇。我认为在过去六个月里，这方面的讨论已经有了很大进步。人们真正致力于找出一个框架，让我们能够享受这些好处，同时共同合作来减轻风险。我认为我们处于一个非常有利的位置来做这件事。全球合作总是很困难的，但我认为这是一种机会和威胁，可以让世界团结起来。我们可以制定一些框架和安全标准，来指导这些系统的开发，这将是非常有帮助的。

张宏江：在这个特定的话题上，你提到了高级人工智能系统的对齐是一个未解决的问题。我也注意到开放AI在过去几年里投入了很多精力。你还提到了GPT-4是对齐方面的最佳例子。你认为我们能否通过对齐来解决人工智能安全问题？或者这个问题比对齐更大？

山姆·奥特曼：我认为对齐这个词有不同的用法。我认为我们需要解决的是如何实现安全人工智能系统的整个挑战。对齐在传统意义上是指让模型按照用户的意图行事，这当然是其中的一部分。但我们还需要回答其他一些问题，比如我们如何验证系统是否做了我们想要它们做的事情，以及我们要根据谁的价值观来对齐系统。但我认为重要的是要看到实现安全人工智能所需要的全貌。

张宏江：是的。如果我们看看GPT-4所做的事情，在很大程度上，它仍然是从技术角度来看的。但除了技术之外，还有许多其他因素。这是一个非常复杂的问题。通常复杂问题是系统性的。人工智能安全可能也不例外。除了技术方面之外，你认为还有哪些因素和问题对人工智能安全至关重要？我们应该如何应对这些挑战？特别是我们大多数人都是科学家，我们应该做什么？

山姆·奥特曼：这当然是一个非常复杂的问题。我会说没有技术解决方案，其他一切都很难。我认为把很多精力放在确保我们解决了安全方面的技术问题上是非常重要的。正如我提到的，弄清楚我们要根据什么样的价值观来对齐系统，这不是一个技术问题。它需要技术输入，但它是一个需要全社会深入讨论的问题。我们必须设计出公平、有代表性和包容性的系统。而且，正如你指出的，我们不仅要考虑人工智能模型本身的安全性，还要考虑整个系统的安全性。

所以，建立安全分类器和检测器，可以在模型之上运行，可以监控使用策略的遵守情况，这也很重要。然后，我也认为很难提前预测任何技术会出现什么问题。所以从真实世界中学习和迭代地部署，看看当你把模型放到现实中时会发生什么，并改进它，并给人们和社会时间去学习和更新，并思考这些模型将如何以好的和坏的方式影响他们的生活。这也很重要。

张宏江：你刚才提到了全球合作。你已经访问了很多国家，你提到了中国。你能否分享一些你在合作方面取得的成果？你对下一步有什么计划或想法？从这次世界之旅中，从你与各种政府、机构、机构之间的互动中？

山姆·奥特曼：我认为通常需要很多不同的视角和人工智能安全。我们还没有得到所有的答案，这是一个相当困难和重要的问题。

此外，正如所提到的，这不是一个纯粹的技术问题，使人工智能安全和有益的。涉及在非常不同的背景下了解不同国家的用户偏好。我们需要很多不同的投入才能实现这一目标。中国拥有一些世界上最优秀的人工智能人才。从根本上说，我认为，考虑到解决高级人工智能系统对齐的困难，需要来自世界各地的最好的头脑。所以我真的希望中国的人工智能研究人员在这里做出巨大的贡献。

张宏江：我明白今天的论坛是关注AI安全的，因为人们对OpenAI很好奇，所以我有很多关于OpenAI的问题，不仅仅是AI安全。我这里有一个观众的问题是，OpenAI有没有计划重新开源它的模型，就像在3.0版本之前那样？我也认为开源有利于AI安全。

山姆·奥特曼：我们有些模型是开源的，有些不是，但随着时间的推移，我认为你应该期待我们将来会继续开源更多的模型。我没有一个具体的模型或时间表，但这是我们目前正在讨论的事情。

张宏江：我们把所有的努力都投入到了开源中，包括模型本身、开发模型的算法、优化模型和数据之间关系的工具。我们相信有必要分享，并让用户感觉到他们控制了自己所使用的东西。你是否有类似的反馈？或者这是你们在OpenAI中讨论的内容？

山姆·奥特曼：是的，我认为开源在某种程度上确实有一个重要的作用。最近也有很多新的开源模型出现。我认为API模型也有一个重要的作用。它为我们提供了额外的安全控制。你可以阻止某些用途。你可以阻止某些类型的微调。如果某件事情不起作用，你可以收回它。在当前模型的规模下，我不太担心这个问题。但是随着模型变得像我们期望的那样强大，如果我们对此是正确的，我认为开源一切可能不是最佳路径，尽管有时候它是正确的。我认为我们只需要仔细地平衡一下。

张宏江：关于GPT-4和AI安全方面的后续问题是，我们是否需要改变整个基础设施或整个AGI模型的架构，以使其更安全、更容易被检查？你对此有什么想法？

山姆·奥特曼：这肯定有可能，我们需要一些非常不同的架构，无论是从能力还是从安全性方面来看。我认为我们将能够在可解释性方面取得一些进展，在当前类型的模型上，并让它们更好地向我们解释它们在做什么以及为什么。但是，如果在Transformer之后还有另一个巨大的飞跃，那也不会让我感到惊讶。而且实际上我们已经在原始的Transformer之后，架构已经发生了很大的变化。

张宏江：作为一个研究人员，我也很好奇，下一步的AGI研究方向是什么？在大模型、大语言模型方面，我们会不会很快看到GPT-5？下一个前沿是不是在具身模型上？自主机器人是不是OpenAI正在或者准备探索的领域？

山姆·奥特曼：我也很好奇下一步会发生什么，我最喜欢做这项工作的原因之一就是在研究的前沿，有很多令人兴奋和惊讶的事情。我们还没有答案，所以我们在探索很多可能的新范式。当然，在某个时候，我们会尝试做一个GPT-5模型，但不会是很快。我们不知道具体什么时候。我们在OpenAI刚开始的时候就做过机器人方面的工作，我们对此非常感兴趣，但也遇到了一些困难。我希望有一天我们能够回到这个领域。

张宏江：听起来很棒。你在演讲中也提到了你们是如何用GPT-4来解释GPT-2的工作原理，从而使模型更安全的例子。这种方法是可扩展的吗？这种方向是不是OpenAI未来会继续推进的？

山姆·奥特曼：我们会继续推进这个方向。

张宏江：那你认为这种方法可以应用到生物神经元上吗？因为我问这个问题的原因是，有一些生物学家和神经科学家，他们想借鉴这个方法，在他们的领域里研究和探索人类神经元是如何工作的。

山姆·奥特曼：在人工神经元上观察发生了什么比在生物神经元上容易得多。所以我认为这种方法对于人工神经网络是有效的。我认为使用更强大的模型来帮助我们理解其他模型的方法是可行的。但我不太确定你怎么把这个方法应用到人类大脑上。

张宏江：好的，谢谢你。既然我们谈到了AI安全和AGI控制，那么我们一直在讨论的一个问题是，如果这个世界上只有三个模型，那么会不会更安全？这就像核控制一样，你不想让核武器扩散。我们有这样的条约，我们试图控制能够获得这项技术的国家数量。那么控制模型数量是不是一个可行的方向？

山姆·奥特曼：我认为对于世界上有少数模型还是多数模型更安全，有不同的观点。我认为更重要的是，我们是否有一个系统，能够让任何一个强大的模型都经过充分的安全测试？我们是否有一个框架，能够让任何一个创造出足够强大的模型的人，既有资源，也有责任，来确保他们创造出的东西是安全和对齐的？

张宏江：昨天在这个会议上，MIT、未来生命研究所的Max教授（迈克斯·泰格马克，Max Tegmark）提到了一种可能的方法，就是类似于我们控制药物开发的方式。科学家或者公司开发出新药不能直接上市，必须经过测试过程。这是不是我们可以借鉴的？

山姆·奥特曼：我绝对认为，我们可以从不同行业发展出来的许可和测试框架中借鉴很多东西。但我认为从根本上说，我们已经有了一些可以奏效的方法。