-
Patent Agency Ranking
公开(公告)号：CN117892237B
公开(公告)日：2024-06-07
申请号：CN202410296410.9
申请日：2024-03-15
Applicant: 南京信息工程大学
IPC: G06F18/2431 , G06F18/2415 , G06F18/25 , G06N3/042 , G06N3/0464 , G06N3/0455 , G06N3/0442 , G06N3/048
Abstract: 本发明提供一种基于超图神经网络的多模态对话情绪识别方法及系统，涉及对话情绪识别领域。该基于超图神经网络的多模态对话情绪识别方法，包括以下步骤：以对话中的话语为节点，分别构建上下文文本、图像、语音模态内超图及模态间超图，使用超图卷积神经网络对超图进行聚合得到模态内和模态间节点特征表示，将节点特征表示拼接得到最终特征表示，将特征表示输入到情感分类器中，得到该话语的情绪类别。本方法采用超图神经网络来建模对话上下文和模态之间的关系，以弥补图神经网络只能捕获成对关系致使高阶信息丢失的缺陷，同时使用超边融合自适应策略和超图卷积神经网络以融合模态信息使得它们能够互相补充，从而提高整体的性能和准确性。
-
公开(公告)号：CN118035868A
公开(公告)日：2024-05-14
申请号：CN202410136494.X
申请日：2024-01-31
Applicant: 南京信息工程大学
IPC: G06F18/2415 , G06F18/25 , G06F18/213 , G06V10/42 , G06V10/44 , G06V10/82 , G06F40/30
Abstract: 本发明公开了一种基于最优传输的实体级多模态情感分类方法及系统，包括：将整图特征RV、图像情感局部特征RSenti、实体文本特征RL和句子文本特征RT映射到再生核希尔伯特空间，并经过拼接形成混合特征R″和混合特征R′；将混合特征R′和混合特征R″输入至融合层函数和第一归一化层获得中间特征H′；将中间特征H′输入至通道前馈神经层和第二归一化层获得多模态混合特征H；通过设定数量叠加的融合层和线性层对多模态混合特征H进行处理得到多模态混合特征Hmutil；根据多模态混合特征Hmutil进行情感分类；本发明在保持模型相对轻量级的同时，能够有效地处理多模态信息完成情感分类。
-
公开(公告)号：CN117892237A
公开(公告)日：2024-04-16
申请号：CN202410296410.9
申请日：2024-03-15
Applicant: 南京信息工程大学
IPC: G06F18/2431 , G06F18/2415 , G06F18/25 , G06N3/042 , G06N3/0464 , G06N3/0455 , G06N3/0442 , G06N3/048
Abstract: 本发明提供一种基于超图神经网络的多模态对话情绪识别方法及系统，涉及对话情绪识别领域。该基于超图神经网络的多模态对话情绪识别方法，包括以下步骤：以对话中的话语为节点，分别构建上下文文本、图像、语音模态内超图及模态间超图，使用超图卷积神经网络对超图进行聚合得到模态内和模态间节点特征表示，将节点特征表示拼接得到最终特征表示，将特征表示输入到情感分类器中，得到该话语的情绪类别。本方法采用超图神经网络来建模对话上下文和模态之间的关系，以弥补图神经网络只能捕获成对关系致使高阶信息丢失的缺陷，同时使用超边融合自适应策略和超图卷积神经网络以融合模态信息使得它们能够互相补充，从而提高整体的性能和准确性。
-
公开(公告)号：CN117493490B
公开(公告)日：2024-05-14
申请号：CN202311534078.7
申请日：2023-11-17
Applicant: 南京信息工程大学
IPC: G06F16/33 , G06F16/35 , G06F16/9536 , G06Q50/00 , G06F16/901
Abstract: 本发明公开一种基于异构多关系图的话题检测方法、装置、设备及介质，该方法包括：获取社交平台的异构数据；基于所述异构数据，构建异构信息多关系图；编码所述异构信息多关系图，得到所述异构信息多关系图的初始化特征表示；基于所述初始化特征表示，对所述异构信息多关系图的节点进行筛选；对筛选后的节点的信息进行聚合，得到所述异构信息多关系图的最终特征表示；基于所述最终特征表示，得到话题关键字。本发明通过发布的内容中涵盖的多模态信息，构建异构信息多关系图的方式，选择最佳的邻居节点进行信息聚合，以实现最优的话题聚类效果，得到最佳话题输出，提高了话题检测的精确性，为后续实现精准敏捷的辟谣反击与正确的舆论引导提供了有力的保障。
-
公开(公告)号：CN117493490A
公开(公告)日：2024-02-02
申请号：CN202311534078.7
申请日：2023-11-17
Applicant: 南京信息工程大学
IPC: G06F16/33 , G06F16/35 , G06F16/9536 , G06Q50/00 , G06F16/901
Abstract: 本发明公开一种基于异构多关系图的话题检测方法、装置、设备及介质，该方法包括：获取社交平台的异构数据；基于所述异构数据，构建异构信息多关系图；编码所述异构信息多关系图，得到所述异构信息多关系图的初始化特征表示；基于所述初始化特征表示，对所述异构信息多关系图的节点进行筛选；对筛选后的节点的信息进行聚合，得到所述异构信息多关系图的最终特征表示；基于所述最终特征表示，得到话题关键字。本发明通过发布的内容中涵盖的多模态信息，构建异构信息多关系图的方式，选择最佳的邻居节点进行信息聚合，以实现最优的话题聚类效果，得到最佳话题输出，提高了话题检测的精确性，为后续实现精准敏捷的辟谣反击与正确的舆论引导提供了有力的保障。
-
-
-
-
Search Results
5
records
(took 0.021 seconds)
