公开(公告)号：CN119128790A

公开(公告)日：2024-12-13

申请号：CN202411142991.7

申请日：2024-08-20

Applicant: 广州大学

Inventor： 乔成 ,  刘园 ,  田志宏 ,  肖阳 ,  赵搏文

IPC: G06F18/25 ,  G06F18/213 ,  G06F18/15 ,  G06F18/241 ,  G06F18/27 ,  G06N3/045

Abstract: 本发明提供了一种多模态数据融合方法、系统、可读存储介质及计算机设备，该方法包括：获取与每种设备节点分别对应的模态数据，模态数据包括文本数据、图像数据、视频数据、音频数据，每种设备节点对应一种模态数据；根据模态数据对每个设备节点上的初始本地模型进行梯度学习，以得到各个设备节点上的最终本地模型；采用加权平均算法融合各个设备节点上的最终本地模型，得到初始融合模型，并对初始融合模型进行迭代收敛，得到最终融合模型。本发明能够实现多模态、以及跨模态的联邦学习，以更好的捕捉不同模态之间的相关性信息，提高模型的性能和泛化能力，实现更全面的数据理解和应用。