公开(公告)号：CN116861367A

公开(公告)日：2023-10-10

申请号：CN202310909452.0

申请日：2023-07-24

Applicant: 浙江大学

Inventor： 陈华钧 ,  黄雨峰 ,  陈卓 ,  张文

IPC: G06F18/25 ,  G06F18/22 ,  G06F16/36 ,  G06N5/025 ,  G06F40/30 ,  G06V20/62 ,  G06V10/42

Abstract: 本发明公开了一种融合知识图谱的跨模态情感分析方法和装置，包括以下步骤：采用预训练模型从图像中提取文本形式的图像字幕和图像层面的第一多模态知识图谱；从描述文本中提取需要情感分析的目标主体，并为目标主体构建掩码模板；通过预训练模型将描述文本转换成文本层面的知识图谱；通过实体节点对齐的方式将第一多模态知识图谱和知识图谱扩展成传递图像和文本联系的第二多模态知识图谱；将第二多模态知识图谱中的三元组进行序列化展平得到序列化三元组，并采用可视化矩阵对序列化三元组进行结构信息的补充；利用包括编码器、解码器以及全连接层的情感分析模型进行情感分析。该方法和装置使得在多模态情感分类任务中取得了更好的表现。

公开(公告)号：CN115761753A

公开(公告)日：2023-03-07

申请号：CN202211200419.2

申请日：2022-09-29

Applicant: 浙江大学

Inventor： 陈华钧 ,  陈卓 ,  黄雨峰 ,  方尹 ,  张文

IPC: G06V30/19 ,  G06V10/82 ,  G06N5/02

Abstract: 本发明公开了一种融合知识图谱的检索式知识前缀引导视觉问答方法，包括：构建的背景知识库包含有标注的知识数据，该知识数据利用视觉问答过程中的知识召回。在此基础上，通过基于词干匹配的检索器检索构建知识文本序列对图像编码器和阅读器进行初训练，以在阅读器中引入知识，然后通过孪生检索器对图像编码器和阅读器进行再训练，以增强阅读器对知识的感知，这种基于背景知识库配合检索器和阅读器的协同工作，提升考虑外部知识的视觉问答的准确性。

公开(公告)号：CN115631365A

公开(公告)日：2023-01-20

申请号：CN202211200416.9

申请日：2022-09-29

Applicant: 浙江大学

Inventor： 陈华钧 ,  黄雨峰 ,  陈卓 ,  耿玉霞 ,  张文 ,  方尹

IPC: G06V10/764 ,  G06F16/36 ,  G06V10/26 ,  G06V10/77 ,  G06V10/80

Abstract: 本发明公开了一种融合知识图谱的跨模态对比零样本学习方法，基于跨模态语义指导网络对图像特征和文本特征进行跨模态信息融合，使得得到的视觉表示兼顾了文本信息，掩码属性表示兼顾了视觉信息，基于属性级的对比学习机制和基于类级的对比学习机制进行两个任务的学习，进一步增强对细粒度视觉特征的识别能力，以应对属性的共现和不平衡，这样在进行零样本图像分类时，可提升图像分类的能力。