·世界需要的不是更多在推特上发帖写长篇大论的AI安全人员，而是更多愿意做技术工作，使这些系统安全且可靠地对齐的人。

·我认为核材料和AI超级计算机有一些相似之处，这是我们可以借鉴和获得启示的地方，但我会提醒人们不要过度学习上一件事的教训。

支付平台Stripe联合创始人兼首席执行官帕特里克·科里森对话OpenAI首席执行官山姆·奥特曼。

当AI监管成为全球越来越受关注的焦点议题之时，OpenAI首席执行官山姆·奥特曼（Sam Altman）在最新的访谈中表示，可以建立一个类似于国际原子能机构的AI机构，让每个人都参与到对极其强大的AI训练系统的全球监管机构中来。

这场访谈于5月9日举行，是对冲基金界重要年会Sohn 2023大会的一部分。几天后，主办方Sohn大会基金会（Sohn Conference Foundation）公布了访谈的完整视频。在访谈中，奥特曼还谈到了自己如何使用ChatGPT，开源AI与闭源AI各自的特点与发展路径。他认为，带有人类反馈的强化学习（RLHF）不是正确的长期解决方案。

以下为部分访谈内容：

帕特里克·科里森（Patrick Collison，支付平台Stripe联合创始人兼首席执行官）：你最常用的ChatGPT功能是什么，在不测试东西的时候，真的想要用的时候，ChatGPT完全是你的工具时。

奥特曼：无疑是汇总摘要。如果没有它，我已经不知道怎么继续工作。我可能无法处理电子邮件和Slack（即时通讯软件）。你知道，你可以把一堆电子邮件或者Slack消息发给它。

希望随着时间的推移，我们能为这个场景构建一些更好的插件。但即使是手动操作效果也相当好。

科里森：有没有任何插件成为你工作流程的一部分？

奥特曼：我偶尔用代码解释器。但说实话，对我个人来说，它们还没有真正像是日常习惯的一部分。

科里森：有些人认为我们现在的训练数据已经接近互联网的全部内容，你不能把这个数目再增加两个数量级，我想你可能会反驳说，是的，但是（还有）合成数据（通过计算机程序人工生成的数据）生成，你认为数据瓶颈重要吗？

奥特曼：我认为，就像你刚才提到的，只要你能达到这个合成数据的临界点，模型足够聪明，能制作出好的合成数据，我认为应该没问题。

我们肯定需要新的技术，我不想假装没有这个问题。简单地把Transformer扩展，预先从互联网上获取训练数据，这种方法会失效，但这并不是我们的计划。

科里森：所以GPT-3.5和4的一大突破就是RLHF（带有人类反馈的强化学习）。如果你，山姆，亲自做了所有的RLHF，模型会变得明显更聪明吗？反馈的人是否重要？

奥特曼：我认为我们正在进入一个阶段，在某些领域，你真的需要聪明的专家给出反馈，以使模型变得尽可能智能。

科里森：当我们考虑所有现在已经成为焦点的AI安全问题时，我们应该从核不扩散的经验中吸取什么最重要的教训？

奥特曼：首先，我认为过分借鉴以前的技术总是一个错误。每个人都想要找一个类比，每个人都想说，哦，这就像这个，或者那个，我们是这样做的，所以我们将再次这样做，但每种技术的形式都是不同的。然而，我认为核材料和AI超级计算机有一些相似之处，这是我们可以借鉴和获得启示的地方，但我会提醒人们不要过度学习上一件事的教训。我认为可以建立一个类似于国际原子能机构（IAEA）的AI机构——我知道这听起来多么天真，这么做有多困难——但是我认为让每个人都参与到对极其强大的AI训练系统的全球监管机构中来，这似乎对我来说是一个非常重要的事情。我认为这就是我们可以学到的一个教训。

科里森：如果它被建立了，明天就存在了，那么它应该首先做什么呢？

奥特曼：任何超过我们设定的阈值的系统——实现这个最容易的方法是计算阈值（最好的方法是能力阈值，但这更难以衡量）——任何超过这个阈值的系统，我认为都应该接受审核。应该让这个组织有完全的可视化权限，要求在发布系统之前通过某些安全评估。那将是第一件事。

科里森：今年对我来说，一个大的惊喜就是开源模型的进步，特别是最近60天左右的疯狂进步。你认为，一年后开源模型会有多好？

奥特曼：我认为这里将会有两个发展方向，一是超级规模化的最好的闭源模型，二是开源社区的进步，可能会落后几年，但我认为我们将会生活在一个有非常强大的开源模型的世界，人们会用它们来做各种事情，整个社区的创造力将会让我们所有人感到惊讶。

科里森：可能超大型的模型在科学上非常有趣，也许你需要它们来做一些事情，比如推动AI的进步，但是对于大多数的实用日常案例，可能一个开源模型就足够了。你认为这个未来有多大可能性？

奥特曼：我认为对于许多有超级经济价值的事情来说，这些较小的开源模型将足够使用。但你刚刚提到了我想说的一件事，那就是帮助我们发明超级智能，那是一个非常有经济价值的活动，就像治愈所有的癌症或发现新的物理规律等，这些都将首先由最大的模型来实现。

科里森：Facebook现在应该开源LLaMa吗？

奥特曼：现在这个点上，可能应该。

科里森：他们应该开源他们的基础模型/语言模型，还是只是LLaMa呢？

奥特曼：我认为Facebook的AI策略在最好的情况下也只能说是混乱的，但我认为他们现在开始非常认真，并且他们有非常能干的人，我预计他们很快就会有更连贯的策略。我认为他们将会是一个令人惊讶的真正的新玩家。

科里森：有没有什么新的发现可能会显著改变你对灾难性结果的可能性估计，无论是提高还是降低它？

奥特曼：是的，我认为有很多，从现在到超级智能之间的大部分新工作都会使这个概率上升或下降。

科里森：那么，你特别关注什么？有什么你特别想知道的事情吗？

奥特曼：首先，我不认为带有人类反馈的强化学习（RLHF）是正确的长期解决方案。我不认为我们可以依赖它。我认为它是有帮助的，它当然使这些模型更容易使用。但你真正想要的是理解模型内部的运作情况，并能够使之对齐，比如说，精确地知道哪个电路或人工神经元集合在发生什么，并能够以一种能够给模型性能带来稳定改变的方式调整它。

还有很多超出这个的事情，但如果我们能向这个方向可靠地工作，我认为每个人的灾难概率都会大幅降低。

科里森：你认为有足够的可解释性工作正在进行吗？

奥特曼：没有。

科里森：为什么不呢？

奥特曼：大部分声称他们真的很担心AI安全的人，似乎只是在推特上花时间说他们真的很担心AI的安全，或者做很多其他事情。

有一些人非常担心AI的安全，并且正在做出很好的技术工作。我们需要更多这样的人，我们肯定在OpenAI内部投入更多的努力，让更多的技术人员去研究这个问题。

但是，世界需要的不是更多在推特上发帖写长篇大论的AI安全人员，而是更多愿意做技术工作，使这些系统安全且可靠地对齐的人。我认为这些事情正在发生，优秀的机器学习研究者转变关注点，以及新人进入这个领域，两者的结合。

科里森：似乎很快我们将拥有代理，你可以以非常自然的方式与之对话，低延迟全双工（Full Duplex，允许二台设备间同时进行双向数据传输）。显然，我们已经看到了Character和Replica这样的产品，即使是这些初期的产品在这个方向上也取得了相当惊人的进展。

我认为这些可能是一项巨大的成就，也许我们正在大大低估它，尤其是一旦你可以通过语音进行对话。你认为这样对吗？如果是这样，你认为可能的后果是什么？

奥特曼：是的，我确实认为是对的。

最近有人对我说过一句印象深刻的话，他们相当确定，他们的孩子将来会有更多的AI朋友而不是人类朋友。至于后果，我不知道会是什么样子。

我认为有一点很重要的是，我们要尽快确立一个社会规范。你知道，如果你在与AI或人类进行交流，或者类似奇怪的AI辅助人类的情况，人们似乎很难在他们的头脑中区分（是人还是AI），即使是像你提到的Replica这样的早期的弱智系统。

不管我们大脑中渴望社交互动的回路是什么，似乎有些人在某些情况下可以通过与AI朋友相处来满足这种需求。

科里森：最近有人告诉我，在Replica的Reddit上读到的一个讨论主题是，如何处理升级到Replica模型时的情感挑战和创伤。因为你的朋友突然变得有点智力受损，或者至少是一个有点不同的人，而且，这些对话者都知道Replica实际上是一个AI，但不知道为什么，我们的情感反应似乎并没有太大的区别。

奥特曼：大多数人都觉得我们正朝着这样一个社会发展：在天空中有个漂浮的至高无上的超级智能存在。而我认为，那是一个在某种意义上不那么可怕但仍然有些奇怪的社会，一个由很多AI和人类共同整合的社会。

关于这个已经有很多电影，就像《星球大战》中的角色C3PO或其他你想要的AI。人们知道这是AI，但它仍然很有用，人们仍然与之互动，它有点像可爱的人，尽管你知道它不是一个人。

而在这个世界上，我们有一个很多AI与人类一起融入基础设施的社会，这对我来说感觉更容易应对，也不那么可怕。

科里森：对于OpenAI来说，显然你们想成为并且是一家卓越的研究机构。但是关于商业化，是成为一家消费者公司更重要还是成为一家基础设施公司更重要？

奥特曼：作为一项商业策略，我是支持平台加顶级应用的。我认为这在很多企业中都取得了成功，原因是充分的。我认为我们开发的消费者产品有助于改进我们的平台。我希望随着时间的推移，我们能够找到方法，让平台也能够改进消费者应用。我认为这是一个很好的连贯的策略，同时进行。

但正如你指出的，我们的目标是成为世界上最优秀的研究机构，这对我们来说比任何产品化更重要。我们建立这样一个组织，能够不断取得突破性进展，虽然并非所有尝试都会成功，我们走过了一些弯路，但我们已经找到了比其他人更多的范式转变，并且我认为我们将在这里实现下一个重大突破。这是我们努力的重点。

科里森：你使用的最好的非OpenAI的AI产品是什么？

奥特曼：坦率地说，我想不出其他什么产品。我对世界的了解比较狭窄，但ChatGPT是我每天使用的唯一AI产品。

科里森：有没有你希望存在的AI产品，你认为我们当前的能力或即将实现的能力使得这种产品成为可能，你期待着它的出现？

奥特曼：我希望有一种像“副驾驶”一样的产品，可以控制我的整个电脑。它可以查看我的Slack、电子邮件、Zoom、iMessage以及庞大的待办事项和文档，并且在很大程度上完成我的工作。

科里森：OpenAI在筹款方面做得非常出色，具有非常特殊的资本结构，与非营利组织和微软的交易，等等，这些奇特的资本结构被低估了吗？企业和创始人是否应该更加开放地思考？

奥特曼：我怀疑不是，我怀疑在这方面进行创新可能是一件可怕的事情，你应该在产品和科学方面进行创新，而不是企业结构方面。

我们所面临的问题形式非常奇特，尽管我们尽力而为，但我们不得不采取一些奇怪的措施，但总体而言，这是一种令人不快的体验，也是一个消耗时间的过程。

对我参与的其他项目来说，它总是采用正常的资本结构，我认为那样更好。

科里森：我们是否低估了资本的重要程度？你所参与的很多公司都需要大量资本。可能OpenAI就是最需要资本的公司，虽然谁知道还有没有别的更需要的。

我们是否低估了资本对未实现的创新的限制？这是否是你所参与的各种努力中的共同主题？

奥特曼：是的，我认为这是个问题，基本上我参与的四家公司中，除了只是作为投资者写支票的那些，所有的公司都需要大量资本。

科里森：你想要列举一下这些公司吗？对于在场的观众。

奥特曼：OpenAI和Healing是我最花时间的项目，然后还有Retro和Worldcoin。

但你知道，所有这些公司在任何产品出现之前都筹集了至少九位数的资金，OpenAI的这个数字更大，所有公司都在第一轮融资或在发布产品之前筹集了九位数的资金，它们都需要很长时间，花费多年时间才能发布产品。

我认为愿意做这样的事情是有很大价值的，而这种方式某个时候在硅谷失宠了。

我理解为什么，像那些只需要筹集几十万、一百万美元就可以盈利的公司也很好，但我认为我们过度倾向于这个方向了，我们已经忘记了如何进行高风险高回报的大量资本和时间密集型的投资，这些也是有价值的，我们应该能够支持两种模式。

科里森：这涉及到为什么没有更多的埃隆·马斯克。

我猜，在过去的20年里，两家最成功的硬件公司（SpaceX和Tesla）在更广泛的意义上都是由同一个人创办的。这看起来是一个令人惊讶的事实。

显然，埃隆在很多方面都是独一无二的。但你对这个问题的回答是什么，我们是否喜欢他这种特殊情况，资本的故事是不是与你所说的线索相符，如果让你在世界上创造更多SpaceX和Tesla，你可能在自己的工作中也试图做到这一点，但如果你不得不以系统的方式推动这个方向，你会尝试改变什么？

奥特曼：我从未遇见过另一个埃隆，我从未遇见过我认为可以轻易地被培养成另一个埃隆的人。他是一种奇怪的独一无二的人物。我很高兴他存在于世界上；但你知道，他也是一个复杂的人。我不知道如何创造更多像他那样的人，我不知道。我不知道你对如何创造更多的想法是什么，我很好奇。

科里森：哪家并未被视为AI公司的公司将在未来五年从AI中受益最多？

奥特曼：我认为有一种投资工具会找出如何利用AI成为一个非凡的投资者，并且有着疯狂的超额回报，所以像是利用这些新技术的Rentech。

科里森：那么，你看到有哪家（上市）公司呢？

奥特曼：你认为微软是一家AI公司吗？

科里森：就这个问题而言，我们假设答案是否定的。

奥特曼：我认为微软将在几乎所有方面通过AI进行自我变革。

科里森：那是因为他们更认真对待这个问题，还是因为微软的性质使他们特别适合这个问题，更能理解这个问题？

奥特曼：他们比其他人更早地认识到这个问题，并且比其他人更认真地对待这个问题。