首页 > AI资讯 > 行业动态 > 百川发布金融大模型,采用自约束训练方式提升“通专能力”

百川发布金融大模型,采用自约束训练方式提升“通专能力”

新火种    2025-01-06

如何让大模型在提升专业能力的同时不损失通用能力,是当下大模型落地具体场景的最大阻碍。12月23日,百川智能推出全链路领域增强金融大模型Baichuan4-Finance,采用自约束训练方案,同步提升模型专项能力和通用能力,提高金融场景可用性。

百川智能由前搜狗公司CEO王小川于2023年创办。全链路领域增强方案覆盖了构建、模型预训练、微调、强化学习等从模型研发到场景应用全流程,旨在提升模型多元场景可用性。据了解,Baichuan4-Finance的金融数据集包含金融专业教材与学术著作、顶级金融期刊论文、监管机构政策文件、金融法律法规等核心专业金融知识数据,以及金融专业问答集、企业财报与年度报告、金融类研究分析报告等实践应用类数据。

在此基础上,Baichuan4-Finance在领域自约束训练过程中引入更高精的通用数据混合训练,实现模型通用能力不下降、金融能力稳定增长,并在后训练环节通过合成数据、指令数据对模型实施有监督的微调;在强化学习策略中,针对数学计算等金融领域特别关注的场景进行样本增强等,提升模型性能。

在中国人民大学财政金融学院12月17日发布的金融评测体系FLAME的测评中,Baichuan4-Finance在银行、保险、基金、证券等资格认证领域的准确率突破95%,整体准确率93.62%。

金融行业数据丰富,适合大模型落地。但在业内人士看来,当下大模型落地金融,还要解决四大问题:一是合规性,金融是强监管行业,任何新技术的应用都要满足监管要求。二是安全性,如果幻觉问题不能彻底避免或消失,大模型落地金融就存在风险,与此同时,在涉及用户敏感数据的问答时,大模型存在泄漏隐私数据风险。三是解释性,金融是逻辑性强的行业,数据处理结果要求准确。四是经济性,大模型更新速度越来越快,对算力、数据的要求越来越高,金融机构落地大模型还要考虑成本,“有时候小模型的效果不一定比大模型差。大模型和小模型的配合也会起很大作用,比如舆情分析、财务异常识别等。”

相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。