word2vec作者爆料:seq2seq是我的想法、GloVe抄袭技巧,反击来了
Tomas Mikolov 这篇爆料满满的文章,里面涉及的研究人员已经开始回击了。
随着 NeurIPS 2023 获奖论文的公布,十年前的词嵌入技术 word2vec 可谓是实至名归的获得了时间检验奖。这篇论文「Distributed Representations of Words and Phrases and their Compositionality」由当时都还在谷歌的 Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado、Jeffrey Dean 撰写。

除了 word2vec 原始论文被拒稿之外,Tomas Mikolov 还透漏了其他事情,我们接着往下看。seq2seq 的最初想法到底是谁Tomas Mikolov 表示他于 2012 年加入谷歌大脑团队,在谷歌大脑工作期间曾与 Quoc Le 和 Ilya Sutskever 讨论过一些想法,关于这个想法 Tomas Mikolov 是这么说的:「其实在加入谷歌之前,我就提出了一个非常简单的想法,通过在句子对(比如法语 - 英语)上训练神经语言模型来实现端到端的翻译,然后在看到第一句话后使用生成模式生成翻译。这对短句子效果很好,但在长句子上就不那么奏效了。」
他曾与谷歌的其他人包括 Quoc Le、Ilya Sutskever 在内多次讨论了这个项目。然而,事情开始出现转折,Tomas Mikolov 选择离开谷歌加入 Facebook AI,而这个项目也被其他人接手了。Tomas Mikolov 指出:「谷歌最终以从序列到序列(sequence to sequence)为名发表了我的想法,不仅没有提到我是共同作者,而且在长长的致谢部分提及了谷歌大脑中几乎所有的人,唯独没有我。那时是资金大量涌入人工智能领域的时期,每一个想法都价值连城。看到深度学习社区迅速变成某种权力的游戏,我感到很悲哀。」
论文地址(上)以及致谢名单(下)
在 Tomas Mikolov 看来,正是这些想法促进了从序列到序列(sequence to sequence,seq2seq)的研究,也就是说 seq2seq 的想法最初来自于 Tomas Mikolov。然而,作为 seq2seq 作者的 Quoc Le 并不认同 Tomas 的说法,Quoc Le 先是对 Tomas 参与的 word2vec 论文获奖表示祝贺。然后话锋一转,「关于 seq2seq,Tomas 的说法有不准确的地方。特别是,我们都记得非常清楚,他没有向我们提出这个想法,而且当我们与他分享端到端的翻译想法时,他实际上非常怀疑。事实上,尽管他持怀疑态度,我们还是非常努力地让这个想法发挥作用。」
图源:twitter
论文中引用了 Tomas 的研究 7 次除了 seq2seq,Tomas 还提到了另一个项目,即斯坦福 NLP 小组的 GloVe 项目(全局词表示向量,被很多人认为优于 word2vec)。这项研究由 Jeffrey Pennington、Richard Socher、Christopher D. Manning 共同完成。
图源:twitter
「我很高兴 Tomas Mikolov 和他的合著者赢得了时间检验奖。这是当之无愧的,几天前我已经在 Facebook 上向他表示祝贺了。Tomas 的做法有点像 Schmidhuber(Schmidhuber 多次公开挑战其他研究人员原创性研究),这是可以理解的。学术界经常会出现这种情况:(一项研究)成功了,会有很多人认领,可以将其理解为『父母』,只有失败了才是『孤儿』(言外之意是没有人会在意)。一个有意义的主题可以激发聪明的大脑和创造性的想象,这些人往往有相似的想法,许多想法都是不确定的。的确,很多想法在某些时候被提及,但没有大规模实施或执行。」Richard Socher 继续说道,当 Mikolov 以一种有点不满的方式说我们抄袭了其研究的许多技巧时,我们有点不明白,因为我们实际上在 GloVe 论文中引用了他的研究 7 次。确实,在这篇论文中,我们搜索关键词 Mikolov,除去参考文献出现的 3 次,论文中确实是 7 次。
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。
热门文章
