百度首席技术官:文心大模型3.5效果提升50%,将逐步开放插件生态
百度披露了旗下深度学习平台“飞桨”的最新数据。
7月6日,在2023世界人工智能大会上,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰透露,截至目前飞桨已凝聚750万名开发者,这也是百度今年以来首次对外披露飞桨生态最新数据。
据他介绍,百度自2010年起全面布局人工智能,是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到人工智能应用,百度在AI四层技术栈的各层都有布局。其中,飞桨深度学习平台位于框架层,向上支撑大模型生产,提高模型部署效率和灵活性,向下适配各类硬件,提高硬件适配效率和降低成本。
今年3月,百度发布大模型产品“文心一言”。6月,百度CEO李彦宏表示,百度文心大模型已经迭代到3.5版本,“文心大模型3.5版本,不仅是技术上的升级,更是安全上的升级。”当时,李彦宏强调,“在数据质量、生成效果和内容安全性上,都得到了明显提升。”
王海峰介绍,文心大模型3.5效果、功能、性能全面提升,实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强等,模型效果提升50%,训练速度提升2倍,推理速度提升30倍。
在人工智能大会现场,王海峰还解读了文心大模型3.5的核心技术创新,在基础模型训练上,采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,显著提升了模型效果和安全性。同时,创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,进一步提升模型效果及场景适配能力。
另外,文心大模型3.5新增了插件机制,文心一言已经于6月17日对外发布官方插件百度搜索和ChatFile。百度搜索是默认的内置插件,使得文心一言具备生成实时准确信息的能力。ChatFile是长文本摘要和问答插件,支持超长文本输入。
王海峰表示,文心一言将发布更多优质的百度官方和第三方插件,让用户能够更好地应用文心大模型,同时也将逐步开放插件生态,帮助开发者基于文心大模型打造自己的应用。
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。