公开(公告)号：CN118211175A

公开(公告)日：2024-06-18

申请号：CN202410272238.3

申请日：2024-03-11

Applicant: 哈尔滨兴业宝科技有限公司 ,  东北林业大学

Inventor： 纪明宇 ,  魏宁 ,  周佳伟 ,  何鑫 ,  王亚冬

IPC: G06F18/25 ,  G06F18/2431 ,  G06F18/27 ,  G06N3/0455 ,  G06N3/084 ,  G06F40/30 ,  G06V40/16 ,  G06V10/82 ,  G10L25/30 ,  G10L25/63 ,  G06N3/048

Abstract: 本发明涉及一种基于Transformer的多模态情感分析方法。包括：S1、获取一组多模态，包括文本模态Ti、视觉模态Vi和音频模态Ai，将多模态进行联合嵌入处理；S2、单流Transformer模型的输出是H令牌，在H令牌中，H[CLS]利用at Pooler使用下游任务，Pooler使用全连接层和tanh激活功能，将Ti,V′i和A′i三对数据通过Pooler处理后，得到#imgabs0#S3、通过多模态掩码图像‑语言建模和图像文本对齐进行预训练任务；S4、对每组模态对的H[CLS]推导出的#imgabs1#和#imgabs2#施加自关注层和共同关注层，并送到全连接层进行结果预测；S5、用#imgabs3#代表联合损失函数，由S3中的两种预训练任务组成，#imgabs4#表示任务损失函数，目标函数由三个联合损失的平均值与#imgabs5#求和获得。本方法具有显著的优越性和有效性，将多模态预训练应用于情感分析具有发展潜力及应用价值。

公开(公告)号：CN116010595A

公开(公告)日：2023-04-25

申请号：CN202211430451.X

申请日：2022-11-15

Applicant: 东北林业大学

Inventor： 纪明宇 ,  周佳伟 ,  何鑫 ,  魏宁 ,  王亚东

IPC: G06F16/35 ,  G06F17/16 ,  G06F18/25 ,  G06F18/2415 ,  G06F18/214 ,  G06N3/0464 ,  G10L25/63

Abstract: 基于同构性和异质性动态信息交互的多模态情感分类方法，涉及多模态情感分析技术领域，本申请提出基于同构性和异质性动态信息交互的多模态情感分类方法，特别是针对目前多模态表达空间内的同构性和异质性特征，本申请采用了一个具有分布排列的共享子空间捕捉模态间潜在的共性和特征，并且设计了一个多模态动态信息交互方法动态融合文本和音频模态内同构性和异质性信息，从而保留各模态的特性，并消除各模态间所存在的歧义和噪声，进而提升了情感分类的准确性。

公开(公告)号：CN116010595B

公开(公告)日：2024-08-09

申请号：CN202211430451.X

申请日：2022-11-15

Applicant: 东北林业大学

Inventor： 纪明宇 ,  周佳伟 ,  何鑫 ,  魏宁 ,  王亚东

IPC: G06F16/35 ,  G06F17/16 ,  G06F18/25 ,  G06F18/2415 ,  G06F18/214 ,  G06N3/0464 ,  G10L25/63

Abstract: 基于同构性和异质性动态信息交互的多模态情感分类方法，涉及多模态情感分析技术领域，本申请提出基于同构性和异质性动态信息交互的多模态情感分类方法，特别是针对目前多模态表达空间内的同构性和异质性特征，本申请采用了一个具有分布排列的共享子空间捕捉模态间潜在的共性和特征，并且设计了一个多模态动态信息交互方法动态融合文本和音频模态内同构性和异质性信息，从而保留各模态的特性，并消除各模态间所存在的歧义和噪声，进而提升了情感分类的准确性。