公开(公告)号：CN119942292A

公开(公告)日：2025-05-06

申请号：CN202510448376.7

申请日：2025-04-10

Applicant: 湘江实验室

Inventor： 陈晓红 ,  王煜坤 ,  徐雪松 ,  严凯阳 ,  王万涛

IPC: G06V10/80 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/0985 ,  G06N5/01 ,  G06V10/42 ,  G06V10/44 ,  G06V10/82

Abstract: 本申请涉及一种多元组无人装备多模态信息体系构建方法，接收无人装备收集的多模态信息；对三种图像分别提取特征，分别得到三种图像的特征，并以三种图像的特征分别作为对应图像的一元组节点；将三种图像的特征分别进行两两配对并融合得到三个共享语义子空间，并以三个共享语义子空间分别作为不同的二元组特征；将三种图像的特征全部融合得到共享语义空间，以共享语义空间作为三元组节点；将各一元组节点互相连接，并将各一元组节点与三元组节点连接，基于二元组特征的特征空间计算各边的权重，构建图结构；采用图卷积神经网络对所述图结构进行融合，得到融合结果；基于融合结果对图结构进行更新优化，得到优化后的图结构。