公开(公告)号：CN118261224A

公开(公告)日：2024-06-28

申请号：CN202410350410.2

申请日：2024-03-25

Applicant: 中移信息技术有限公司 ,  中国移动通信集团有限公司

Inventor： 丁鹏勇 ,  孙敏 ,  刘嘉荣 ,  岳岩岩 ,  刘玮 ,  徐珂 ,  马育良 ,  陈霖捷 ,  李莉

IPC: G06N3/08 ,  G06N3/045 ,  G06F18/25 ,  G06F18/214

Abstract: 本申请公开了一种多模态联合学习方法、装置、设备、可读存储介质及产品，涉及计算机技术领域，包括：获取训练数据与待训练的多模态学习模型，其中，所述多模态学习模型包括融合网络与任务网络；获取所述训练数据中每一种单模态数据对应的字节序列，将每一所述字节序列输入至所述多模态学习模型中，通过所述融合网络确定所有所述字节序列对应的融合嵌入向量；通过任务网络确定所述融合嵌入向量对应的处理结果，基于所述处理结果调整所述融合网络与所述任务网络的网络参数，返回执行将每一所述字节序列输入至所述多模态学习模型的步骤，直至满足预设的迭代终止条件。本申请降低了实现多模态联合学习所需的计算机系统资源耗费。