公开(公告)号：CN117493490A

公开(公告)日：2024-02-02

申请号：CN202311534078.7

申请日：2023-11-17

Applicant: 南京信息工程大学

Inventor： 马廷淮 ,  谢欣彤 ,  贾莉 ,  荣欢 ,  黄学坚

IPC: G06F16/33 ,  G06F16/35 ,  G06F16/9536 ,  G06Q50/00 ,  G06F16/901

Abstract: 本发明公开一种基于异构多关系图的话题检测方法、装置、设备及介质，该方法包括：获取社交平台的异构数据；基于所述异构数据，构建异构信息多关系图；编码所述异构信息多关系图，得到所述异构信息多关系图的初始化特征表示；基于所述初始化特征表示，对所述异构信息多关系图的节点进行筛选；对筛选后的节点的信息进行聚合，得到所述异构信息多关系图的最终特征表示；基于所述最终特征表示，得到话题关键字。本发明通过发布的内容中涵盖的多模态信息，构建异构信息多关系图的方式，选择最佳的邻居节点进行信息聚合，以实现最优的话题聚类效果，得到最佳话题输出，提高了话题检测的精确性，为后续实现精准敏捷的辟谣反击与正确的舆论引导提供了有力的保障。

公开(公告)号：CN116661603A

公开(公告)日：2023-08-29

申请号：CN202310656368.2

申请日：2023-06-02

Applicant: 南京信息工程大学

Inventor： 黄学坚 ,  马廷淮 ,  贾莉

IPC: G06F3/01 ,  G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/084 ,  G10L15/26 ,  G10L15/02

Abstract: 本发明公开了复杂人机交互场景下的多模态融合的用户意图识别方法，获取语音和视频，利用语音识别模块把语音转换为文本；分别通过预训练模型BERT、Wav2vec 2.0和Faster R‑CNN提取文本特征、语音特征和视觉特征，利用Transformer对特征进行预处理；构建模态特定和模态共用两类编码器，对文本、语音和视频特征进行多模态协同表示学习；针对复杂场景下每种模态可能在不同时刻表现出不同级别的噪声，利用注意力机制和门控神经网络对多模态协同表示进行自适应融合；把融合特征输入全连接神经网络中识别用户的真实意图。本发明可以提高复杂人机交互场景下的用户意图识别的准确率，提升交互机器人的服务质量。