公开(公告)号：CN119397481A

公开(公告)日：2025-02-07

申请号：CN202411577047.4

申请日：2024-11-06

Applicant: 广东工业大学

Inventor： 林忆宝 ,  冯广 ,  黄俊辉 ,  钟婷 ,  刘天翔 ,  郑润庭 ,  杨燕茹 ,  黄荣灿 ,  廖贝融

IPC: G06F18/25 ,  G06F18/15 ,  G06F18/24 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0895 ,  G06N3/0442

Abstract: 本发明公开了一种多模态情绪分析方法和装置，涉及情感分析技术领域。方法包括：对多模态情绪数据各模态情绪进行预处理并进行维度对齐，确定目标文本特征、对齐视频特征和对齐音频特征；采用单模态编码器分别对对齐视频特征和对齐音频特征进行编码，对应得到目标视频特征和目标音频特征；通过跨模态融合网络和跨膜态转换网络基于目标文本特征、目标音频特征和目标视频特征进行跨膜态注意力机制运算后输入Transformer网络进行自注意力运算后进行特征融合，确定情绪融合特征；采用情感分类层对情绪融合特征进行情感分类，输出情绪分析结果。基于上述方案，减少了模态交互时的信息丢失，提升了多模态情绪分析的可靠性。

公开(公告)号：CN119337256A

公开(公告)日：2025-01-21

申请号：CN202411541215.4

申请日：2024-10-31

Applicant: 广东工业大学

Inventor： 黄荣灿 ,  冯广 ,  李伟辰 ,  项峰 ,  郑润庭 ,  杨燕茹 ,  刘天翔 ,  林忆宝

IPC: G06F18/2431 ,  G06F18/2415 ,  G06F18/25 ,  G06F18/213 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/049 ,  G06N3/047 ,  G06N3/084

Abstract: 本发明公开了一种多模态情感识别方法及装置，用于解决现有的多模态情感识别方法导致识别精度差的技术问题。方法包括获取待检测多模态情感数据，将待检测情感数据输入至预置多模态情感识别模型，预置多模态情感识别模型包括多模态特征提取网络、跨模态特征交互网络、表征学习网络和特征模态识别网络；通过多模态特征提取网络对待检测多模态情感数据进行特征提取，生成多模态情感感知特征；将多模态情感感知特征输入至跨模态特征交互网络进行特征交互，输出多模态交互特征；采用表征学习网络对多模态交互特征进行特征学习，生成多个模态隐藏向量；通过特征模态识别网络对多个模态隐藏向量进行情感识别，生成目标多模态情感识别结果。

公开(公告)号：CN119337883A

公开(公告)日：2025-01-21

申请号：CN202411559759.3

申请日：2024-11-04

Applicant: 广东工业大学

Inventor： 刘天翔 ,  冯广 ,  郑润庭 ,  杨燕茹 ,  林健忠 ,  黄荣灿 ,  李伟辰 ,  项峰 ,  林忆宝

IPC: G06F40/295 ,  G06V10/40 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/047 ,  G06F40/30

Abstract: 本发明公开了一种多模态命名实体识别方法及装置，用于解决现有的多模态命名实体识别方法导致多模态命名实体识别的准确性较差的技术问题；方法包括获取待检测文本数据和待检测图像数据；将待检测文本数据和待检测图像数据作为文本图像描述提取模块的输入，输出文本模态特征和图像描述文本模态特征；采用图像特征提取模块根据待检测图像数据进行图像特征提取，输出图像模态特征；通过混合专家融合模块对文本模态特征和图像描述文本模态特征进行特征融合，生成融合文本模态特征；采用多模态注意力融合模块对融合文本模态特征和图像模态特征进行注意力融合，输出目标通用特征识别结果。

公开(公告)号：CN119918010A

公开(公告)日：2025-05-02

申请号：CN202510093790.0

申请日：2025-01-21

Applicant: 广东工业大学

Inventor： 李伟辰 ,  冯广 ,  黄荣灿 ,  刘天翔 ,  周垣桦 ,  盘皓然 ,  项峰 ,  郑润庭 ,  杨燕茹 ,  周启源 ,  林忆宝

IPC: G06F18/25 ,  G06F18/213 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/09 ,  G06N3/0499

Abstract: 本发明公开了一种基于多维度感知的多模态情感分析方法和系统，涉及情感分析技术领域，包括：将待识别多模态情感数据输入训练好的多模态情感分析模型，多模态情感分析模型包括特征提取网络、跨膜态交互网络、多维度感知网络和情感预测网络；通过特征提取网络对待识别多模态情感数据进行特征提取，构建对齐文本特征、对齐音频特征和对齐视频特征；将对齐文本特征、对齐音频特征和对齐视频特征输入跨膜态交互网络进行特征交互，确定交互融合特征；基于多维度感知网络依次沿多个特征维度对交互融合特征进行特征提取，生成混合多模态特征；采用情感预测网络对混合多模态特征进行情感评分，输出目标情感分数。基于上述方案，有助于提高情感分析精度。

公开(公告)号：CN119670014A

公开(公告)日：2025-03-21

申请号：CN202411812028.5

申请日：2024-12-10

Applicant: 广东工业大学

Inventor： 杨燕茹 ,  冯广 ,  刘天翔 ,  郑润庭 ,  林忆宝 ,  黄荣灿 ,  项峰 ,  李伟辰

IPC: G06F18/25 ,  G06F18/213 ,  G06F18/2113 ,  G06F18/2431 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/082 ,  G06N3/048

Abstract: 本发明公开了一种多模态情感分析方法和系统，涉及情感分析技术领域，方法包括：对多模态情感数据进行特征提取的文本单模态特征、音频单模态特征和视觉单模态特征进行模态反馈交互，生成文本反馈特征、音频反馈特征和视觉反馈特征；通过语言编码器和非语言编码器对文本反馈特征、音频反馈特征和视觉反馈特征进行编码，确定文本反馈特征以及音频编码特征与视觉编码特征拼接的混合编码特征；采用文本编码特征和混合编码特征进行特征筛选交互，确定文本筛选特征、混合筛选特征和交叉筛选特征；基于文本筛选特征、混合筛选特征和交叉筛选特征输出情感分析结果。基于上述方案，可以防止信息混杂和模态间的干扰，有助于提高情感分析可靠性。