公开(公告)号：CN118211175A

公开(公告)日：2024-06-18

申请号：CN202410272238.3

申请日：2024-03-11

Applicant: 哈尔滨兴业宝科技有限公司 ,  东北林业大学

Inventor： 纪明宇 ,  魏宁 ,  周佳伟 ,  何鑫 ,  王亚冬

IPC: G06F18/25 ,  G06F18/2431 ,  G06F18/27 ,  G06N3/0455 ,  G06N3/084 ,  G06F40/30 ,  G06V40/16 ,  G06V10/82 ,  G10L25/30 ,  G10L25/63 ,  G06N3/048

Abstract: 本发明涉及一种基于Transformer的多模态情感分析方法。包括：S1、获取一组多模态，包括文本模态Ti、视觉模态Vi和音频模态Ai，将多模态进行联合嵌入处理；S2、单流Transformer模型的输出是H令牌，在H令牌中，H[CLS]利用at Pooler使用下游任务，Pooler使用全连接层和tanh激活功能，将Ti,V′i和A′i三对数据通过Pooler处理后，得到#imgabs0#S3、通过多模态掩码图像‑语言建模和图像文本对齐进行预训练任务；S4、对每组模态对的H[CLS]推导出的#imgabs1#和#imgabs2#施加自关注层和共同关注层，并送到全连接层进行结果预测；S5、用#imgabs3#代表联合损失函数，由S3中的两种预训练任务组成，#imgabs4#表示任务损失函数，目标函数由三个联合损失的平均值与#imgabs5#求和获得。本方法具有显著的优越性和有效性，将多模态预训练应用于情感分析具有发展潜力及应用价值。

公开(公告)号：CN116010595A

公开(公告)日：2023-04-25

申请号：CN202211430451.X

申请日：2022-11-15

Applicant: 东北林业大学

Inventor： 纪明宇 ,  周佳伟 ,  何鑫 ,  魏宁 ,  王亚东

IPC: G06F16/35 ,  G06F17/16 ,  G06F18/25 ,  G06F18/2415 ,  G06F18/214 ,  G06N3/0464 ,  G10L25/63

Abstract: 基于同构性和异质性动态信息交互的多模态情感分类方法，涉及多模态情感分析技术领域，本申请提出基于同构性和异质性动态信息交互的多模态情感分类方法，特别是针对目前多模态表达空间内的同构性和异质性特征，本申请采用了一个具有分布排列的共享子空间捕捉模态间潜在的共性和特征，并且设计了一个多模态动态信息交互方法动态融合文本和音频模态内同构性和异质性信息，从而保留各模态的特性，并消除各模态间所存在的歧义和噪声，进而提升了情感分类的准确性。

公开(公告)号：CN116010595B

公开(公告)日：2024-08-09

申请号：CN202211430451.X

申请日：2022-11-15

Applicant: 东北林业大学

Inventor： 纪明宇 ,  周佳伟 ,  何鑫 ,  魏宁 ,  王亚东

IPC: G06F16/35 ,  G06F17/16 ,  G06F18/25 ,  G06F18/2415 ,  G06F18/214 ,  G06N3/0464 ,  G10L25/63

Abstract: 基于同构性和异质性动态信息交互的多模态情感分类方法，涉及多模态情感分析技术领域，本申请提出基于同构性和异质性动态信息交互的多模态情感分类方法，特别是针对目前多模态表达空间内的同构性和异质性特征，本申请采用了一个具有分布排列的共享子空间捕捉模态间潜在的共性和特征，并且设计了一个多模态动态信息交互方法动态融合文本和音频模态内同构性和异质性信息，从而保留各模态的特性，并消除各模态间所存在的歧义和噪声，进而提升了情感分类的准确性。

公开(公告)号：CN115730067A

公开(公告)日：2023-03-03

申请号：CN202211430454.3

申请日：2022-11-15

Applicant: 东北林业大学

Inventor： 纪明宇 ,  郭旭博 ,  何鑫 ,  周佳伟 ,  张亚

IPC: G06F16/35 ,  G06F40/12 ,  G06F18/25 ,  G06F18/241 ,  G06F40/242 ,  G06F16/36 ,  G06N3/0442 ,  G06N3/04 ,  G06N3/08

Abstract: 基于短文本与复杂语义符号的多通道情感分类方法及设备，涉及一种情感分类方法及设备。为了解决目前的情感分类模型会忽略颜文字对文本的影响，容易导致分类结果与作者的情感产生偏差的问题。本发明提取短文本中的颜文字，根据人体运动学模型将颜文字划分并进行颜文字的匹配提取，使用全连接特征提取网络训练，获取颜文字词典映射向量，并与位置数量信息特征向量进行拼接得到颜文字特征向量；获得短文本中文本信息对应的文字文本向量，与颜文字特征向量进行融合得到融合特征，利用自注意力机制对融合特征向量进行优化，然后送入情感分类模型进行情感分离，情感分类模型为由简单神经单元SRU构成的双向的简单循环神经网络BiSRU。