公开(公告)号：CN119337883A

公开(公告)日：2025-01-21

申请号：CN202411559759.3

申请日：2024-11-04

Applicant: 广东工业大学

Inventor： 刘天翔 ,  冯广 ,  郑润庭 ,  杨燕茹 ,  林健忠 ,  黄荣灿 ,  李伟辰 ,  项峰 ,  林忆宝

IPC: G06F40/295 ,  G06V10/40 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/047 ,  G06F40/30

Abstract: 本发明公开了一种多模态命名实体识别方法及装置，用于解决现有的多模态命名实体识别方法导致多模态命名实体识别的准确性较差的技术问题；方法包括获取待检测文本数据和待检测图像数据；将待检测文本数据和待检测图像数据作为文本图像描述提取模块的输入，输出文本模态特征和图像描述文本模态特征；采用图像特征提取模块根据待检测图像数据进行图像特征提取，输出图像模态特征；通过混合专家融合模块对文本模态特征和图像描述文本模态特征进行特征融合，生成融合文本模态特征；采用多模态注意力融合模块对融合文本模态特征和图像模态特征进行注意力融合，输出目标通用特征识别结果。

公开(公告)号：CN119646747A

公开(公告)日：2025-03-18

申请号：CN202411969538.3

申请日：2024-12-30

Applicant: 广东工业大学

Inventor： 项峰 ,  冯广 ,  黄荣灿 ,  李伟辰 ,  杨燕茹 ,  郑润庭 ,  刘天翔

IPC: G06F18/25 ,  G06F18/2413 ,  G06F18/213 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/096

Abstract: 本发明公开了一种多模态情感分析方法和装置，涉及情感分析技术领域，方法包括：将待测多模态情感数据进行特征提取并进行模态对齐，确定对齐文本特征、对齐视频特征和对齐音频特征；基于对齐文本特征分别对对齐视频特征和对齐音频特征进行特征强化，生成强化视频特征和强化音频特征；采用对齐文本特征、强化视频特征和强化音频特征进行跨模态交叉注意力融合，构建交互文本特征、交互视频特征和交互音频特征；对交互文本特征、交互视频特征和交互音频特征进行后期融合后进行情感预测，输出情感分析结果。采用音视频特征强化机制提升音视频模态的特征质量，有效联合跨模态特征交互和多模态晚期融合，从而整体上提升多模态情感分析可靠性。

公开(公告)号：CN119918010A

公开(公告)日：2025-05-02

申请号：CN202510093790.0

申请日：2025-01-21

Applicant: 广东工业大学

Inventor： 李伟辰 ,  冯广 ,  黄荣灿 ,  刘天翔 ,  周垣桦 ,  盘皓然 ,  项峰 ,  郑润庭 ,  杨燕茹 ,  周启源 ,  林忆宝

IPC: G06F18/25 ,  G06F18/213 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/09 ,  G06N3/0499

Abstract: 本发明公开了一种基于多维度感知的多模态情感分析方法和系统，涉及情感分析技术领域，包括：将待识别多模态情感数据输入训练好的多模态情感分析模型，多模态情感分析模型包括特征提取网络、跨膜态交互网络、多维度感知网络和情感预测网络；通过特征提取网络对待识别多模态情感数据进行特征提取，构建对齐文本特征、对齐音频特征和对齐视频特征；将对齐文本特征、对齐音频特征和对齐视频特征输入跨膜态交互网络进行特征交互，确定交互融合特征；基于多维度感知网络依次沿多个特征维度对交互融合特征进行特征提取，生成混合多模态特征；采用情感预测网络对混合多模态特征进行情感评分，输出目标情感分数。基于上述方案，有助于提高情感分析精度。

公开(公告)号：CN119670014A

公开(公告)日：2025-03-21

申请号：CN202411812028.5

申请日：2024-12-10

Applicant: 广东工业大学

Inventor： 杨燕茹 ,  冯广 ,  刘天翔 ,  郑润庭 ,  林忆宝 ,  黄荣灿 ,  项峰 ,  李伟辰

IPC: G06F18/25 ,  G06F18/213 ,  G06F18/2113 ,  G06F18/2431 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/082 ,  G06N3/048

Abstract: 本发明公开了一种多模态情感分析方法和系统，涉及情感分析技术领域，方法包括：对多模态情感数据进行特征提取的文本单模态特征、音频单模态特征和视觉单模态特征进行模态反馈交互，生成文本反馈特征、音频反馈特征和视觉反馈特征；通过语言编码器和非语言编码器对文本反馈特征、音频反馈特征和视觉反馈特征进行编码，确定文本反馈特征以及音频编码特征与视觉编码特征拼接的混合编码特征；采用文本编码特征和混合编码特征进行特征筛选交互，确定文本筛选特征、混合筛选特征和交叉筛选特征；基于文本筛选特征、混合筛选特征和交叉筛选特征输出情感分析结果。基于上述方案，可以防止信息混杂和模态间的干扰，有助于提高情感分析可靠性。

公开(公告)号：CN119248924A

公开(公告)日：2025-01-03

申请号：CN202411401920.4

申请日：2024-10-09

Applicant: 广东工业大学

Inventor： 盘皓然 ,  冯广 ,  周垣桦 ,  李伟辰

IPC: G06F16/334 ,  G06F16/31 ,  G06F40/30 ,  G06F18/10 ,  G06F18/23213 ,  G06F18/25

Abstract: 本发明公开了一种促进多模态信息融合的情感分析方法及装置，方法包括：基于K‑Means算法建立声学词汇表和视觉词汇表并查询非文本模态的特征，得到非文本模态的单词索引序列并嵌入至文本模态的初始特征中建立非语言位移向量；将非语言位移向量添加至文本模态的初始特征中进行移位操作，得到多模态向量；将多模态向量进行上下文感知和情感分析，得到并输出情感分析结果。在本发明中，通过K‑Means算法将非文本模态的特征序列转换为与文本模态一样的单词索引序列，缩小融合时语言文本模态和非语言文本模态特征的分布差距，便于后续的特征融合；在特征融合时通过非语言位移向量来增强语言文本模态的表示，从而提升情感分析的准确性。

公开(公告)号：CN119337256A

公开(公告)日：2025-01-21

申请号：CN202411541215.4

申请日：2024-10-31

Applicant: 广东工业大学

Inventor： 黄荣灿 ,  冯广 ,  李伟辰 ,  项峰 ,  郑润庭 ,  杨燕茹 ,  刘天翔 ,  林忆宝

IPC: G06F18/2431 ,  G06F18/2415 ,  G06F18/25 ,  G06F18/213 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/049 ,  G06N3/047 ,  G06N3/084

Abstract: 本发明公开了一种多模态情感识别方法及装置，用于解决现有的多模态情感识别方法导致识别精度差的技术问题。方法包括获取待检测多模态情感数据，将待检测情感数据输入至预置多模态情感识别模型，预置多模态情感识别模型包括多模态特征提取网络、跨模态特征交互网络、表征学习网络和特征模态识别网络；通过多模态特征提取网络对待检测多模态情感数据进行特征提取，生成多模态情感感知特征；将多模态情感感知特征输入至跨模态特征交互网络进行特征交互，输出多模态交互特征；采用表征学习网络对多模态交互特征进行特征学习，生成多个模态隐藏向量；通过特征模态识别网络对多个模态隐藏向量进行情感识别，生成目标多模态情感识别结果。