公开(公告)号：CN116756287A

公开(公告)日：2023-09-15

申请号：CN202310749393.5

申请日：2023-06-21

Applicant: 电子科技大学

Inventor： 郑旭 ,  张栗粽 ,  高辉 ,  何岳峰 ,  仲文章 ,  刘立建

IPC: G06F16/332 ,  G06F18/25 ,  G06V10/40 ,  G06V10/82 ,  G06F40/289 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/084 ,  G06N3/098

Abstract: 本发明公开了一种基于模态联合交互的图像问答方法，其包括以下步骤：对图像和问题进行预处理得到对应的图像特征向量和问题高层特征向量；构建图像问答网络并得到模态内单元注意力特征和模态间单元注意力特征；通过模态双向联合交互和残差堆叠式的深度融合对模态内单元注意力特征以及模态间交互注意力特征进行深度融合，得到隐藏层的输出图像特征和输出问题特征；对最后一个隐藏层输出图像特征和输出问题特征进行特征合并得到最终特征；将最终特征通过线性变换映射到多类别向量中进行答案预测。本发明可实现图像和问题特征之间的双向引导，提升模型交互能力；增强跨模态语义空间的信息共享；增强了模型的多模态交互能力；提升了答案分类的效果。

公开(公告)号：CN116757280A

公开(公告)日：2023-09-15

申请号：CN202310749257.6

申请日：2023-06-21

Applicant: 电子科技大学

Inventor： 张栗粽 ,  郑旭 ,  康昭 ,  刘立建 ,  朱巡洋 ,  王璐

IPC: G06N5/025 ,  G06F16/36 ,  G06F16/901 ,  G06F18/22 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明提出了一种基于图变换网络的知识图谱多元关系链路预测方法，利用异构图建模多元关系事实，更充分还原了多元关系事实中的复杂异构交互信息；然后通过图变换神经网络，利用其在异构图中的元路径相关概念和图卷积运算逻辑，实现异构图上元路径的自动生成，完成多元关系中节点异构交互特征的提取和聚合；最后通过融合节点初始嵌入，对关系事实中的目标节点进行预测，并将预测结果与所有节点计算相似度，得到其预测评估分值；本发明通过对多元关系事实的充分建模和信息挖掘，克服了多元关系事实利用中存在的信息丢失问题，一定程度上提高了预测结果的准确性，既适用于对关系事实中的实体预测，也适用于其中的关系预测。