公开(公告)号：CN119312153A

公开(公告)日：2025-01-14

申请号：CN202411145262.7

申请日：2024-08-20

Applicant: 华南理工大学

Inventor： 刘琦 ,  林锦濠

IPC: G06F18/241 ,  G06F18/25 ,  G06V40/16 ,  G06N3/0895 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明公开了一种基于半监督学习的多模态交互情感分析方法。所述方法首先对语音、文本及视觉模态进行特征提取，接着通过模态内、模态间两大交互分支网络进行特征融合，最后基于门控机制自适应提取两大交互分支的融合信息，其中，模态内、模态间交互网络基于transformer的编码器结构，所不同的是多头自注意力层引入了所提出的注意力掩码机制；训练方法上，以半监督学习的方式，生成伪标签辅助模型稳定训练，减少了对标签数据的依赖。本发明解决了多模态情感分析领域存在的人工标注成本高昂以及如何挖掘有效交互信息的问题，提高了情感识别精度。

公开(公告)号：CN116563605B

公开(公告)日：2024-09-06

申请号：CN202310375040.3

申请日：2023-04-10

Applicant: 华南理工大学

Inventor： 刘琦 ,  王煜骁 ,  林锦濠 ,  邢晓芬 ,  雷玉 ,  徐向民

IPC: G06V10/764 ,  G06T7/73 ,  G06V10/82 ,  G06V10/42 ,  G06V10/46 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于TED‑Net的非接触人‑物交互检测方法，包括以下步骤：对输入图像进行数据增强；通过卷积神经网络进行视觉特征提取，获取人‑物视觉特征；通过图像压缩技术获取特征图的压缩特征；获取基于编码器的全局特征编码；通过公共的查询矩阵获取三个查询向量分别表示人、物、交互关系，引入配对信息；融合编码后的特征构建三流解码器获取人的位置信息、物的位置信息及物体类别、交互类别，实现人物交互检测。本发明利用人‑物细粒度特征关注人‑物周围环境提供的有效信息，捕获非接触交互信息，在人物交互检测问题上，进一步提高了人物交互检测的精度。

公开(公告)号：CN116563605A

公开(公告)日：2023-08-08

申请号：CN202310375040.3

申请日：2023-04-10

Applicant: 华南理工大学

Inventor： 刘琦 ,  王煜骁 ,  林锦濠 ,  邢晓芬 ,  雷玉 ,  徐向民

IPC: G06V10/764 ,  G06T7/73 ,  G06V10/82 ,  G06V10/42 ,  G06V10/46 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于TED‑Net的非接触人‑物交互检测方法，包括以下步骤：对输入图像进行数据增强；通过卷积神经网络进行视觉特征提取，获取人‑物视觉特征；通过图像压缩技术获取特征图的压缩特征；获取基于编码器的全局特征编码；通过公共的查询矩阵获取三个查询向量分别表示人、物、交互关系，引入配对信息；融合编码后的特征构建三流解码器获取人的位置信息、物的位置信息及物体类别、交互类别，实现人物交互检测。本发明利用人‑物细粒度特征关注人‑物周围环境提供的有效信息，捕获非接触交互信息，在人物交互检测问题上，进一步提高了人物交互检测的精度。