首页 > AI资讯 > 最新资讯 > 李开复旗下“零一万物”大模型疑套壳LLaMA

李开复旗下“零一万物”大模型疑套壳LLaMA

新火种    2023-11-16

  知名大模型公司再次陷入套壳质疑,这次是李开复刚于一周前发布的“零一万物”(Yi)大语言模型,疑似套壳Meta公司在今年开源的大模型LLaMA。

  阿里前技术副总裁、大模型行业创业者贾扬清近日在朋友圈中表示,做小公司不容易,在做适配某国内大厂的新模型的业务时,发现此大厂新模型完全照搬LLaMA的架构,“今天有朋友告诉我,这个大厂新模型exactly就是LLaMA的架构,但是为了表示不一样,把代码里面的名字从LLaMA改成了他们的名字,然后换了几个变量名。”

  贾扬清表示希望不要换名伪装,以免做多余的适配工作,“各位大佬,开源社区不容易,如果你们就是开源的模型结构,求高抬贵手就叫原来的名字吧,免得我们还做一堆工作就为了适配你们改名字。”

  贾扬清没有指明具体的大模型名字。但业内怀疑的对象指向李开复旗下的零一万物(Yi)。

  在全球三大开源社区平台之一Hugging Face上,零一万物的社区中,开发者ehartford指出,“据我们了解,除了两个张量(tensor)被重命名之外,Yi 完全使用了 LLaMA 的架构。”

  据《机器之心》报道,有研究者在加速器创业网站Y Combinator上发帖指出,Yi-34B 模型基本上采用了 LLaMA 的架构,只是重命名了两个张量。

  张量(Tensor)指多维向量,Yi相当于只更改了部分参数的名字,架构与LLaMA相同,但却完全没有提到LLaMA的来源。

  在Hugging Face上零一万物社区讨论中,有用户指出套壳对于Yi许可证的风险,“如果他们使用完全相同的 Meta LLaMA 结构、代码库和所有相关资源,也必须遵守 LLaMA 规定的许可协议。以 LLaMA 格式正式发布 Yi 模型是有问题的,会破坏 Yi 许可条款的可执行性。”

  Yi是李开复成立的AI公司“零一万物”上周刚刚发布的首款开源大模型。据36氪报道,零一万物已完成新一轮融资,由阿里云领投。李开复称,在完成融资前,为了覆盖算力等训练成本,零一万物已经负债几千万美元。而现在,零一万物估值已超10亿美元,跻身独角兽行列。目前零一万物开源发布的Yi-34B模型在Hugging Face上Open LLM Leaderboard开源大语言模型排行榜上排名第一。

  针对Yi套壳LLaMA一事,零一万物回应《机器之心》表示,Yi确实借鉴了GPT的成熟结构,但零一万物团队自己也做了大量工作:“GPT 是一个业内公认的成熟架构,LLaMA 在 GPT 上做了总结。零一万物研发大模型的结构设计基于 GPT 成熟结构,借鉴了行业顶尖水平的公开成果,同时基于零一万物团队对模型和训练的理解做了大量工作……Yi 开源模型在其他方面的精力,比如数据工程、训练方法、baby sitting(训练过程监测)的技巧、hyperparameter 设置、评估方法以及对评估指标的本质理解深度、对模型泛化能力的原理的研究深度、行业顶尖的 AI Infra 能力等,投入了大量研发和打底工作……”

  而在Hugging Face原帖下,零一万物的团队成员Richar Lin回应承认了更改张量名称一事,“这个命名问题是我们的疏忽。在大量的训练实验中,我们对代码进行了多次重命名,以满足实验要求。但是,我们有点掉以轻心,没有在发布之前将它们改回来。” 他表示,会将张量改回原LLaMA的命名。

  国产大模型的套壳开源大模型的争议早已有之。不少企业正是基于开源模型做微调,包括二次训练等,也有企业直接基于开源模型做应用层的开发,因此研发成本更低。

  OpenAI公司对于 GPT-2 之后的模型就不再开源,而Meta公司推出的开源模型LLaMA,其训练使用的公开数据集均超过万亿词元,展现出与非开源大模型相近水平的任务处理能力。LLaMA便成了经费并不充裕的学术界或公司参与AI浪潮的高性价比之选。

(文章来源:蓝鲸财经)

Tags:
相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。