金融界2023年12月27日消息，据国家知识产权局公告，中国工商银行股份有限公司申请一项名为“自然语言处理模型的评估方法、装置及电子设备”，公开号CN117291169A，申请日期为2023年9月。

专利摘要显示，本发明公开了一种自然语言处理模型的评估方法、装置及电子设备，涉及金融科技领域或其他相关领域。该方法包括：接收对目标模型的评估请求，并获取评估请求对应的数据集；依据数据集生成目标评测任务，并依据目标评测任务对目标模型进行测试，得到测试结果数据集，目标评测任务用于确定目标模型的多个性能信息，多个性能信息包括以下至少之一：金融文本理解能力、合规性、可解释性、鲁棒性、数据安全性；依据测试结果数据集计算得到目标模型对应的多个评价指标的指标值，并依据多个评价指标的指标值对目标模型进行评估，得到评估结果。本发明解决了现有技术中在对金融领域大型自然语言处理模型进行评估时，存在评估准确性较低的技术问题。

本文源自：金融界

作者：情报员