公开(公告)号：CN116776287A

公开(公告)日：2023-09-19

申请号：CN202310794745.9

申请日：2023-06-30

Applicant: 福州大学

Inventor： 陈羽中 ,  石丽湲 ,  陈子阳

IPC: G06F18/25 ,  G06F40/205 ,  G06F40/211 ,  G06F40/284 ,  G06V30/18 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及一种融合多粒度视觉与文本特征的多模态情感分析方法及系统，该方法包括：A、初始化图节点文本表示并提取图片特征表示；B、依据句法依赖关系、成分树结构确定图注意力网络中边关系邻接矩阵；使用多模态注意力机制分别获得单词级、短语级、句子级的联合文本视觉特征表示，最终获得多粒度文本‑视觉融合特征表示；根据多层图注意力网络输出的文本‑视觉联合特征表示预测方面词位置并形成方面词表示；依据方面词位置使用ANP解析器解析出最相关的ANP对，并依据方面词在句法依赖关系中的邻接关系构建方面图；C、根据方面图的输出作为方面词情感表示，预测该方面词对应的情感极性。该方法及系统有利于提高情感极性预测精度。

公开(公告)号：CN118246456A

公开(公告)日：2024-06-25

申请号：CN202410247391.0

申请日：2024-03-05

Applicant: 福州大学

Inventor： 陈羽中 ,  石丽湲 ,  陈子阳

IPC: G06F40/30 ,  G06F40/289 ,  G06F18/25 ,  G06F40/284

Abstract: 本发明涉及一种基于一致性感知的多模态情感分析方法及系统，该方法包括：A、使用预训练模型初始化评论文本表示和方面词表示，并使用ResNet初步提取图片特征表示；B、构建一致性感知模型，并以步骤A得到的数据进行模型训练；一致性感知模型依据句法依赖关系、成分树结构确定多层图注意力网络中边关系邻接矩阵；构建多粒度视觉‑文本交互模块，获得多粒度文本‑视觉融合特征表示；构建一致性学习模块，输出方面特定的图片情感文本化表示；最后融合多粒度视觉‑文本交互模块以及一致性学习模块的输出，作为方面词情感表示；C、使用方面词情感表示，预测该方面词对应的情感极性。该方法及系统有利于提高多模态方面提取和情感分析答案预测的准确性。