上海标准再次在金融领域落地。昨天，在中共上海市委金融委员会办公室、上海市经济和信息化委员会指导下，上海市人工智能行业协会和上海金融业联合会联合发布全国首个以金融业务能力为核心的团体标准《金融大模型应用评测指南》，上海库帕思科技有限公司发布多维度金融大模型评测数据集(2024版)。《金融大模型应用评测指南》以金融业务为核心，从模型基础、金融安全与价值对齐、金融风险控制、金融专业认知、金融业务辅助拓展等5个维度185项指标要求着手，构建了金融领域大模型的能力测评框架，同时给出了相关的评测方法与工具以及评测分级标准。以模型基础能力方面为例，围绕模型基础理解和推演功能，指南定义了包括文本分类、信息抽取等在内的11项单模态，图文检索、视频问答等在内的6项多模态指标要求。金融安全与价值对齐能力方面，围绕模型的可靠性、可解释性以及隐私保护，指南设计了内容合规、文化价值、伦理价值等在内的9项指标要求。金融大模型评测数据集(2024版)是用于评测金融领域大模型应用成效的重要抓手。金融机构比照《金融大模型应用评测指南》能力测评框架，共设计评测数据44000余句对，帮助大模型“跑数据”。据介绍，评测数据集比照最高水平、最好标准，具有规模大、结构优、价值对齐等特点，符合金融领域对知识鲜活度、多样性和高密度的整体要求。后续，金融评测数据集将定期更新，样例集已在Open Data Lab和开放原子社区发布。