GPT-5正在秘密训练,开源模型仍将落后闭源2-3年!DeepMind联创抖出大料
作者|周愚
编辑|尚恩
最近,DeepMind联合创始人、Inflection AI现任CEO Mustafa Suleyman在接受外媒采访时,放出了一则重磅消息。
谈及Sam Altman否认正在训练GPT-5,Mustafa没有选择直接戳穿,而是有些阴阳怪气地说道:“我认为我们还是坦诚相待比较好,这就是为什么我们公开了我们所拥有的计算总量。”
言下之意,就是OpenAI正在秘密训练GPT-5。
此前,OpenAI发布ChatGPT企业版时,网友就曾热议。一名长期研究OpenAI和ChatGPT的以色列创业公司CEO Yam Peleg甚至认为:OpenAI已经获得了GPT-5。
![](/uploads/pic/20230907/othfhiy5hh2.jpg)
图源:X(Twitter)
这位老哥曾经试图反向破解尝试GPT-4和ChatGPT的代码解释器。今年6月,OpenAI成员访问以色列时,Peleg也参与了座谈沟通,并和Sam Altman合影留念。
![](/uploads/pic/20230907/pkyltjo35je.jpg)
图源:X(Twitter)
而为了显示自己的坦诚态度,Mustafa也透露未来三年Inflection AI的大模型进展:"在接下来的3年里,我们要训练的模型要比现在大1000倍。甚至在未来18个月内,Inflection的模型就将比目前的前沿模型大100倍。"
对于大模型如此快速的发展,有网友兴奋地表示:活着是多么美好的一天啊!
![](/uploads/pic/20230907/djcs2pvq5si.jpg)
来源:X(Twitter)
当然,也有网友对AI的快速发展是否会对社会造成负面影响,表示深深的担忧。
![](/uploads/pic/20230907/e0w1koz3bdr.jpg)
图源:X(Twitter)
Mustafa在采访中回应称,AI目前要具备危险的能力,仍然缺乏基本的组件,比如自主性和行动能力,这至少还需要5年甚至更久的时间。
此外,他还表示,至少在未来五年内,开源模型仍将落后于闭源模型,并分享了Google与DeepMind在伦理和监管方面的抓马故事。
开源这件事,过于天真了
尽管一再强调坦诚、透明的重要性,但对于大模型开源问题,Mustafa却没有那么乐观,颇有些泼冷水的意味。
他直言:"我非常有信心,在相当长的一段时间内,至少在未来五年内,开源模型将持续落后于最前沿的闭源模型两到三年。"
当包括Meta的Llama2在内的许多大模型走向开源之路时,Mustafa却称:“在未来20年内,天真的开源,几乎肯定会造成灾难”。
![](/uploads/pic/20230907/52w5k2yk2zo.jpg)
图源:X(Twitter)
对于开源后,大规模访问可能造成的风险,Mustafa提出了一个相当有趣又细思极恐的概念——“权力的快速扩散”。
他表示,在未来几年内,我们就会拥有比现在大几个数量级的模型,而开源则意味着每个个体就能轻而易举地获得一个组织、甚至一个国家的权力,单一个体就能对世界造成前所未有的伤害和影响。
Mustafa以上一波社交媒体浪潮为例,在这波浪潮中,每个人都拥有了广播权,可以通过社交媒体的数百万追随者影响世界。
在过去,这几乎是出版商专有的方式,但也意味着这些行为在大多数情况下是可被追究责任的。而在社交媒体时代,追责却成了难以想象的事情。
另外,Mustafa还强调,AI技术有可能降低许多潜在危险化合物或者武器的开发门槛,当然从预训练中删除这些内容,对模型进行对齐等方法,可以降低这样的风险。
但一味地开源所有模型,势必会增大模型被利用来作恶的可能性。
当然,Mustafa也承认,开源模型的价格合理,任何人均可尝试,在过去对技术进步做出了很多贡献,但他表示仍要顶着压力,提醒世人注意开源的风险。他认为:"如果我们没有这样的对话,我们最终会把造成大规模混乱的破坏稳定的工具交到每个人的手中。"
OpenAI要“保持透明”
面对AI能力的快速进步,Mustafa一度担心监管政策的落后,甚至曾经表示,要“寻求赢得时间的方法,放慢速度,为找到更多问题的答案提供空间”。
然而,现实似乎却是,AI的发展正在一路高踩油门,就连Inflection AI自己也似乎没有刹车的意图。
目前,Inflection AI正在建造世界上最大的超级计算机之一,甚至在接下来的一年半里,还将进行一次比GPT-4的语言模型训练运行大10倍或100倍的语言模型训练。
而Mustafa在这其中则似乎有些又当又立,正在亲自加速这场模型训练的军备竞赛,增加AI的风险。
![](/uploads/pic/20230907/h0yd5juyqvk.jpg)
图源:视觉中国
另一方面,AI训练的算力成本也正在迅速下降。
芯片算力将以2-3倍的效率快速增长,而算力成本则随着芯片算力的迭代在不断下降,届时训练相同规模模型的成本将远远小于目前的成本。
未来AI训练也不需要通过一味地堆叠更多算力,来训练更大的模型。比如,Llama2、Falcon等模型,凭借15亿参数或20亿参数,就获得了有1750亿参数的GPT-3的能力。
对于是否要放慢脚步,Mustafa并没有给出回答,不过他从另一个角度,否认了当前对Inflection AI的质疑并表示:“AI要具备危险能力仍然缺乏基本的组件,比如自主性和在世界上行动的能力。”
他补充道,AI要变得危险,还需要五年、十年、十五年,甚至二十年。我们无法知道确切的时间,但可以肯定,现在的AI并不危险。
而在回答这一问题时,Mustafa还轻踩了一脚OpenAI,指责OpenAI在训练GPT-5这件事上不够透明,暗中秘密训练,甚至公然撒谎否认正在训练。
与此同时,他还大方透露,为了训练比GPT-4更大的模型,Inflection AI目前有6000枚H100正在训练模型,而到12月,则会有22000枚H100用于训练。他表示,坦诚、透明的态度至关重要。
Mustafa还提到了自己创始的DeepMind,认为DeepMind也应该披露Gemini接受了多少FLOPS训练。
Google和DeepMind的抓马
引入外部监督进行治理,是Mustafa在DeepMind的十年间,花费大量时间推进的一样工程,但最终却很快以失败告终。他说:“这是一项相当痛苦的工作”,并追加表示权力方当然不希望这样,尽管自己认为谷歌是出于好意,但它的运作仍然是传统的官僚机构模式。
![](/uploads/pic/20230907/bwyzxrcaq0r.jpg)
图源网络
最初成立谷歌伦理委员会时,DeepMind计划该委员会将由九名独立成员组成,为DeepMind开发的敏感技术提供外部监督。然而不幸的是,委员会成立的一周内,就有三名委员辞职,而后委员会的半数成员陆续离开。
而这场悲剧的原因是,DeepMind任命了一名曾发表过相当严重争议言论的保守派委员。就在任命消息公布的几天内,大学校园里就展开了大规模的运动,不仅要求该委员下台,还迫使其他委员推出,暗示他们宽恕或接纳这名保守派委员的错误观点。
更令人沮丧的是,公司在这个时候也开始反过来怀疑这样工作的必要性,认为这简直就是浪费时间。
而在此之前,被Google收购时,DeepMind将成立伦理和安全委员会作为收购的条件,他们希望将DeepMind剥离为一家相对独立的公司。然而,这种设想显然失败了,DeepMind从来都不是独立的,而现在它完全是谷歌的一部分。
虽已离开谷歌,不过引入外部监督仍然是Mustafa的目标之一。
今年7月,Inflection AI与其他6家AI巨头,在白宫一同签署了八项自愿承诺,Mustafa认为“其中一些自愿承诺应该成为法律规定”。
他表示,作为一家公司,面对如虚假信息在内的各种威胁总是显得有些无力,大多数威胁必须由国家来进行监管、解决,比如框定有害的模型能力。
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。
热门文章
![](https://www.xhz.cn/uploads/20240904/sbuqqw5v1v1.jpg)