MiniMax谈大模型生存战
作者 | 黄昱
编辑 | 刘宝丹
经去两年的火热发展,AI大模型进入淘汰赛阶段,悲观情绪不断蔓延。当“只有少数玩家能拿到下半场竞赛的门票”成为行业共识,AI大模型创业玩家的未来充满了未知数。
近日,MiniMax副总裁刘华和腾讯云北区云原生总经理田丰现身一场媒体交流会,共话大模型的未来发展。
就未来行业格局的发展问题,刘华对表示,考虑到算力、研发团队、资金等方面的实力,能做下一代模型研发的企业不会特别多,最终基础大模型的赛道还是会局限在个位数的企业,更多企业会转去做AI应用,但相信优秀的大厂、优秀的创业公司会有机会留下来。
与此同时,刘华强调,MiniMax还是会坚持做一家技术驱动的公司,在把基础多模态大模型做好的同时,继续做toB、toC的业务,“因为我们还是相信用户的反馈是最好的帮助我们提升模型的方向。”
市场中唱衰大模型创业公司的声音其实不少。金沙江创投主管合伙人朱啸虎曾表态,“六小虎”最好的归宿,将会是被大厂并购。
不过,在刘华看来,国内大厂做大模型肯定有很多优势,但作为创业公司,MiniMax也得到了一些大厂的支持,比如说腾讯。此外,MiniMax也有一些成功的商业化。
大厂支持+成功的商业化路径,刘华认为,像这样的创业公司能够留在赛道上继续迭代研发模型,这个可能性还是很大的。
作为“AI六小虎”中低调的存在, MiniMax的商业化发展似乎是相对顺利的。
今年8月份下旬,发布最新的视频模型时,MiniMax国际业务总经理盛静远曾表示,MiniMax现在是所有中国大模型公司里面,少数几个能讲商业化变现,能讲产品跟模型驱动,甚至很有可能能在比较短的时间内实现自负盈亏及盈利的公司。
她进一步指出,“最核心的还是技术突破,产品是技术突破的体现,这个产品能够最终实现商业化,来反哺到后续的技术投入,这是公司真正转起来的标志,可能我们现在在半山腰的状态,如果做得比较成功,很快就能达到一个正向的循环。”
值得一提的是,关于大模型技术迭代放缓、Scaling Law 撞墙的讨论如今越来越多。
不过,刘华指出,没有感受到Scaling Law在放缓,而且今年会发现不仅是有训练的Scaling Law,推理阶段也存在Scaling Law。其实对于MiniMax来讲,2024年依然是大模型飞速发展的一年。
大模型公司对技术、方向的判断尤为重要,这决定了其未来发展的上限。MiniMax在大模型研发方面,有三个明确的方向,包括降低模型错误率、实现无限长的输入和输出、多模态路线发展。
刘华指出,在模型错误率方面,上一代的GPT系列模型错误率约30%,这导致GPT在一些严肃的生产场合没法适用。如果说大模型要进入严肃的生产、研发、科研、设计,那它的错误率肯定要降低,最好能降低到2%-3%最好。
其次,大模型任务逐步从文本扩展到语音、视频,所需的Token量也在迅猛增加,因此,MiniMax必须要确保大模型以一个高效的方式处理更大规模的输入和输出。
据悉, MiniMax最新研发的Abab 7系列模型基于 MoE和Linear Attention(线性注意力)机制的新架构,可显著降低长文本的计算复杂度,实用性和响应速度极大提升,大幅减少了大模型的训练和推理成本。
大模型的快速迭代,也离不开提供算力、存储、大数据等基础设施的云服务厂商的支持。据悉,自从 MiniMax 成立以来,就与腾讯云建立了合作关系。
经过过去几年的发展,大模型公司对云服务厂商的需求也发生了变化。
刘华对指出,刚开始,MiniMax对云厂商的需求可能就是模型的训练,随着模型的能力不断提升,会出现通过公有云去做业务的需要。
站在云服务厂商的视角,腾讯云北区云原生总经理田丰也分享了这两三年来对客户需求变化的观察。
田丰指出,像MiniMax这样的大模型公司客户早早期的需求是聚焦在算力、大数据处理,现在对数据存储、数据库、大数据、安全等都有了新的需求。随着业务发展,训练集群、推理集群的规模都在快速扩大。
“这个规模对我们的组网的能力、集群的运维,都是一个非常大的、全新的挑战,跟原来完全是不一样的”。 田丰介绍,腾讯云为MiniMax 提供了一系列集计算、存储、网络为一体的高性能智算产品,让 MiniMax释放更多的精力聚焦在模型本身的训练和工程化上。
据悉,腾讯云高性能计算集群通过一系统化的运维机制,可做到网络故障一分钟内发现问题,三分钟内定位问题,最快五分钟恢复系统。其千卡集群的日故障数已刷新至 0.16,是行业平均水平的三分之一。
同时,腾讯云COS对象存储的元数据加速方案来保障性能,多种精细化管理措施进行数据治理。DLC数据湖产品也针对语料数据预处理进行了专项优化来提升任务处理性能,帮助MiniMax节约算力 30%以上,性能提升 35.5%以上。
“AI大模型是长跑,投资人和创业者都需要有信心和耐心,炫酷的技术最终还是要落实到商业化本身,要盈利去赚钱”。 田丰说道。
这场大模型竞赛面临的挑战越来越大,要想成为最后的赢家之一,所有参与者都必须找准方向,然后全力以赴。
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。