免费、开源且堪比GPT4!Meta在训练Llama3了?
有消息称,Meta正在开发比GPT4更强大的人工智能大模型Llama3,开源且免费!
据人工智能新闻网站the decoder,这是OpenAI工程师、前谷歌大脑工程师Jason Wei在Meta组织的Generative AI Group社交活动中无意中听到的消息。
Wei表示,他注意到Meta现在有足够的计算能力来训练Llama3和4。Llama3计划达到GPT-4的性能水平,但仍将免费提供。
不过,目前还没有关于Llama3何时发布甚至是否发布的官方声明。从今年2月发布的Llama1到7月的Llama2,Meta花了大约五个月的时间。
但值得一提的是,GPT-4具有比Llama标准版更复杂的架构。文章称,GPT-4可能通过使用更复杂的专家混合架构来实现其高性能,该架构具有16个专家网络,每个网络具有约1110亿个参数。
因此,从Llama 2跳到Llama 3可能不只是简单地进行扩展,并且可能比从Llama 1跳到Llama 2需要花费更长的时间。
Llama2在某些应用中达到了GPT-3.5的水平,并且还通过微调和额外功能由开源社区进行优化。
例如,最近发布的基于Llama2的CodeLlama,通过微调在Human Eval编码基准测试中达到了GPT-3.5和GPT-4水平的结果(取决于测量类型)。
然而,在关于Llama2的论文中,Meta自己指出,与GPT-4和谷歌的PaLM-2等闭源模型之间仍存在巨大的性能差距。
所以可以说,Llama2在某些方面达到了GPT-3.5的水平,但与最先进的闭源模型GPT-4相比,仍存在明显的差距。它主要的优势在于其开源性,即允许研究人员和开发者基于它进行调优和创新。
英国《金融时报》7月中旬报道称,Meta开发Llama模型的主要目标是,打破OpenAI在大语言模型(LLM)市场的主导地位。Meta可能会尝试将Llama模型建立为LLM市场的一项支持技术,类似于谷歌在移动市场上对Android所做的事情,以便稍后推出更多产品。此外,Meta还从开源社区模型的快速开发中受益。
OpenAI首席执行官Sam Altman于6月上旬表示,GPT-5距离训练发布还很远。谷歌计划在今年年底或明年初推出下一代多模态LLM Gemini。
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。
热门文章
![](https://www.xhz.cn/uploads/20240904/sbuqqw5v1v1.jpg)