金融界2023年12月16日消息，据国家知识产权局公告，科大讯飞股份有限公司申请一项名为“开放式问答及多模态大模型的训练方法、装置及相关设备“，公开号CN117235232A，申请日期为2023年10月。

专利摘要显示，本申请公开了一种开放式问答及多模态大模型的训练方法、装置及相关设备，为了促使多模态大模型关注到空间信息，在预训练阶段针对训练图像生成了匹配的带有空间信息的图像描述文本，空间信息用于表示训练图像中包含的对象在训练图像中的空间位置，采用训练图像及上述添加有显性的对象空间信息的图像描述文本对多模态大模型进行预训练，可以使得多模态大模型在学习图像和内容描述文本的语义对齐关系的基础上，进一步关注到图像中对象的空间位置，也即使得多模态大模型具备检测物体空间位置的能力。在此基础上，当将多模态大模型应用于开放式问答任务，在回答与空间排布相关问题时能够基于掌握的能力准确给出正确回答。