公开(公告)号：CN118734976B

公开(公告)日：2024-12-17

申请号：CN202411224705.1

申请日：2024-09-03

Applicant: 鹏城实验室

Inventor： 王耀威 ,  董晓 ,  梁小丹 ,  余建兴 ,  蒋冬梅 ,  魏骁勇

IPC: G06N5/04 ,  G06N3/0464 ,  G06N3/08 ,  G06F18/25 ,  G06F40/30

Abstract: 本发明公开了一种基于梯度自校准的多模态预训练方法、系统、终端及存储介质，本发明利用混合模态交互网络，让针对于特定模态的与任务无关的损失函数来学习一个统一模态交互模块的梯度，根据不同模态梯度方向间的差异来确定哪些模态间的差异较小；使用这些差异较小的模态数据在共享编码器上面的组合梯度作为构建的正梯度方向，以该梯度方向来修正其余模态梯度的方向；根据修正后的模态梯度方向，将对应模态在该共享编码器上的参数在方向传播更新前，提前进行更新，从而达到平衡模态训练的目的，使用混合transformer网络结构来提取不同模态数据的融合特征，使用模态梯度自校准模块来修正不同模态针对联合编码器的梯度下降方向，提升不同模态融合表征的效果。

公开(公告)号：CN118734976A

公开(公告)日：2024-10-01

申请号：CN202411224705.1

申请日：2024-09-03

Applicant: 鹏城实验室

Inventor： 王耀威 ,  董晓 ,  梁小丹 ,  余建兴 ,  蒋冬梅 ,  魏骁勇

IPC: G06N5/04 ,  G06N3/0464 ,  G06N3/08 ,  G06F18/25 ,  G06F40/30

Abstract: 本发明公开了一种基于梯度自校准的多模态预训练方法、系统、终端及存储介质，本发明利用混合模态交互网络，让针对于特定模态的与任务无关的损失函数来学习一个统一模态交互模块的梯度，根据不同模态梯度方向间的差异来确定哪些模态间的差异较小；使用这些差异较小的模态数据在共享编码器上面的组合梯度作为构建的正梯度方向，以该梯度方向来修正其余模态梯度的方向；根据修正后的模态梯度方向，将对应模态在该共享编码器上的参数在方向传播更新前，提前进行更新，从而达到平衡模态训练的目的，使用混合transformer网络结构来提取不同模态数据的融合特征，使用模态梯度自校准模块来修正不同模态针对联合编码器的梯度下降方向，提升不同模态融合表征的效果。