首页 > AI资讯 > 最新资讯 > 谷歌Transformer论文合著作者离职创业放话要给AI产业探条新路

谷歌Transformer论文合著作者离职创业放话要给AI产业探条新路

新火种    2023-09-22

财联社8月18日讯(编辑 史正丞)作为本轮AI热潮的起点,谷歌在2017年发表了题为《Attention is all you need》的经典论文,对Transformer模型做出了具有历史意义的重大改进。而根据最新的消息,这篇论文的合著作者Welshman Llion Jones已经离开谷歌,标志着当年写这篇论文的团队已经全部离开美国科技巨头。

(Llion Jones在论文署名中排第5,来源:arvix)

谷歌的论文也为五年后席卷全球的科技热潮奠定了基础,包括ChatGPT、文心一言、Bard、讯飞星火、Stability AI、Midjourney、Dall-E等几乎所有市面上的知名产品背后都是Transformer架构。

选在这个时候在AI领域自立门户,与挥金如土的各大巨头展开竞争,是因为Jones对AI领域产生了一些不同的想法。

Jones与前谷歌AI日本地区的负责人、曾领导Stability AI开发的David Ha一拍即合,周四宣布在日本东京创办了一个名为Sakana AI的新公司,追求将“大自然系统的集体智慧”引入AI领域。Sakana在日语中是“鱼”的意思,代表着“一群鱼聚在一起,根据简单的规则行程连贯实体”的愿景。

(两人官宣创业,来源:X)

在Transformer架构的创新问世后,业界的发展重心一度聚焦在将各种“GPT”越做越大,而Sakana AI将聚焦在创造一个新的架构。

他们认为,当前人工智能模型的局限性在于它们被设计为脆弱的、难以改变的结构,就像桥梁或建筑物那样。相比之下,在集体智慧的作用下,自然系统对周遭发生的变化非常敏感。自然系统会适应并成为周遭环境的一部分。Sakana AI希望使用这些进化计算的原理构建人工智能,来解决AI系统成本和安全性等问题。

David Ha对此概括称,相较于建造一个吸收所有数据的庞大模型,Sakana AI的做法可能是使用数量巨大的小模型,每一个模型所包含的数据集都不大但有独特的专长,然后让这些模型进行协作来解决问题。

至于为什么要跑到东京去创业,两位创始人表示,除了在东京呆过很多年外,他们也认为训练在非西方社会和文化中也能表现良好的模型,能够成为下一次技术突破的催化剂。

相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。