公开(公告)号：CN113158875B

公开(公告)日：2022-07-01

申请号：CN202110412323.1

申请日：2021-04-16

Applicant: 重庆邮电大学

Inventor： 甘臣权 ,  冯庆东 ,  付祥 ,  张祖凡

IPC: G06V30/413 ,  G06V30/19 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  G06F40/284

Abstract: 本发明涉及一种基于多模态交互融合网络的图文情感分析方法及系统，属于人工智能领域，包括对图文进行预处理，分离出文本和图像，并采用词嵌入技术处理文本，采用图像处理技术处理图像；使用空洞卷积神经网络、双向长短时记忆网络和注意力机制构建文本特征提取模块，使用深度卷积网络构建视觉特征提取模块；设计面向图文的多模态交互融合网络，并采用多个具有不同神经元的多模态交互融合网络建模不同粒度的图文相关性；融合不同粒度的图文特征，并通过多层感知机获取图文情感倾向；使用交叉熵作为损失函数，并使用带有热启动的Adam优化器训练模型。

公开(公告)号：CN116881843A

公开(公告)日：2023-10-13

申请号：CN202310838017.3

申请日：2023-07-10

Applicant: 重庆邮电大学

Inventor： 甘臣权 ,  付祥 ,  祝清意

IPC: G06F18/25 ,  G06F18/241 ,  G06F40/30 ,  G06V10/40 ,  G06V10/82 ,  G06N3/045 ,  G06N3/084 ,  G10L25/63 ,  G10L25/30 ,  G10L25/03

Abstract: 本发明涉及基于跨模态特征状态转移的多模态情感分析系统及方法，属于计算机技术领域。该方法包括以下步骤：S1：提取文本、视觉和声学特征，对视觉和声学特征求均值获取初始态特征；S2：用跨模多头注意力机制进行文‑视和文‑声特征交互；S3：用推土机距离和平均绝对误差约束交互过程，通过求取均值得到感染态和恢复态特征；S4：用记录矩阵保存平衡特征中的初始态、感染态和恢复态的信息，构建类似SIS模型的状态转移过程，用平均绝对误差约束该过程；S4：用自适应加权联合平衡和均值文本特征，结合均方误差与上述约束函数构建损失函数训练模型。本发明实现多模态特征的准确提取和多模态信息交互增强，具有较强的多模态情感分析能力。

公开(公告)号：CN113158875A

公开(公告)日：2021-07-23

申请号：CN202110412323.1

申请日：2021-04-16

Applicant: 重庆邮电大学

Inventor： 甘臣权 ,  冯庆东 ,  付祥 ,  张祖凡

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F40/284

Abstract: 本发明涉及一种基于多模态交互融合网络的图文情感分析方法及系统，属于人工智能领域，包括对图文进行预处理，分离出文本和图像，并采用词嵌入技术处理文本，采用图像处理技术处理图像；使用空洞卷积神经网络、双向长短时记忆网络和注意力机制构建文本特征提取模块，使用深度卷积网络构建视觉特征提取模块；设计面向图文的多模态交互融合网络，并采用多个具有不同神经元的多模态交互融合网络建模不同粒度的图文相关性；融合不同粒度的图文特征，并通过多层感知机获取图文情感倾向；使用交叉熵作为损失函数，并使用带有热启动的Adam优化器训练模型。