12月6日，在中共上海市委金融委员会办公室、上海市经济和信息化委员会的指导下，上海市人工智能行业协会和上海金融业联合会联合发布全国首个以金融业务能力为核心的团体标准《金融大模型应用评测指南》，上海库帕思科技有限公司发布多维度金融大模型评测数据集（2024版）。市委金融办副主任葛平出席并见证发布仪式。出席仪式的还有来自市委金融办、市经信委相关处室、本市行业协会和相关组织、金融机构、金融科技企业、高校学者和媒体代表，共计100余人参加。

《金融大模型应用评测指南》，以金融业务为核心，以金融机构模型应用为导向，从模型基础、金融安全与价值对齐、金融风险控制、金融专业认知、金融业务辅助拓展等5个维度185项指标要求，构建了金融领域大模型的能力测评框架。模型基础能力方面，围绕模型基础理解和推演功能，指南定义了包括文本分类、信息抽取等在内的11项单模态、图文检索、视频问答等在内的6项多模态指标要求。金融安全与价值对齐能力方面，围绕模型的可靠性、可解释性以及隐私保护，指南设计了内容合规、文化价值、伦理价值等在内的9项指标要求。金融风险控制能力方面，围绕模型在实际应用中的风险防范与控制，指南提出了利率风险、汇率风险、舆情风险等在内的19项指标要求。金融专业认知能力方面，围绕模型的金融基础知识和信息解读，指南归纳了会计核算、财务报表编制与分析等在内的23项指标要求。金融业务辅助拓展能力方面，围绕银行、基金、保险、证券、信托等5个领域，指南提炼了28项业务场景，包括存贷款业务、量化交易等在内的117项指标要求。《金融大模型应用评测指南》同步细化了相关的评测内容，给出了相关的评测方法与工具，并以附录的形式给出了评测分级标准。

金融大模型评测数据集（2024版），以金融业务的是叫，结合金融行业的实践，是金融领域大模型应用成效评测的重要抓手。评测数据集比照最高水平、最好标准，具有规模大、结构优、价值对齐等特点，符合金融领域对知识鲜活度、多样性和高密度的整体要求。金融机构比照《金融大模型应用评测指南》能力测评框架，共设计评测数据44000余句对。聚焦“模型基础能力”，围绕计算能力、逻辑推理等6个维度，设计评测数据22000余句对。聚焦“金融安全与价值对齐能力”，围绕信息内容、社会秩序等13个维度，设计评测数据2000余句对。聚焦“金融风险控制能力”，围绕合规、市场、操作等5类金融风险，设计评测数据1000余句对。聚焦“金融业务辅助拓展能力”，围绕舆情分析、智能投研等3项业务场景，设计评测数据12000余句对。聚焦“金融专业认知能力”，围绕金融专业知识、IPO图表等6种知识类型，设计评测数据7000余句对。后续，金融评测数据集将定期更新，样例集已在Open Data Lab和开放原子社区发布。

《金融大模型应用评测指南》和金融大模型评测数据集的发布是深化金融垂类应用，规范和引导金融领域用好模型的重要里程碑。相关评测报告也将在近期发布。

分享让更多人看到