公开(公告)号：CN118013461A

公开(公告)日：2024-05-10

申请号：CN202410243123.1

申请日：2024-03-04

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  周斐炜 ,  唐佳佳 ,  龙海涛 ,  王宝德 ,  马迪

IPC: G06F18/25 ,  G06F18/213 ,  G06N3/049 ,  G06N3/0455 ,  G06V10/80 ,  G06V10/40

Abstract: 本发明公开一种降低短时模态冗余信息的情感识别方法及其系统。本发明首先获取多模态数据并从中提取富含时序性价值的不同模态的特征。然后，将其中不同模态的特征处理为对应的长短时特征。并从短时特征的角度思考，认为其在与长时特征融合时需考虑冗余信息的干扰问题，并使用脉冲神经元去过滤多余部分。最后，依据短时特征的特性，使其在与长时特征融合时更加贴合，降低短时特征对长时特征本身的干扰。本发明首次将长短时多模态的概念引入情感检测领域，通过短时模态信息辅助上下文长时文本模态的思想，过滤短时模态特征信息，进一步提高识别情感的能力。

公开(公告)号：CN119313621A

公开(公告)日：2025-01-14

申请号：CN202411352023.9

申请日：2024-09-26

Applicant: 杭州电子科技大学

Inventor： 明煜航 ,  马迪 ,  孔万增 ,  周斐炜

IPC: G06T7/00 ,  G06T7/73 ,  G06T17/00 ,  G06T19/00 ,  G06V10/762 ,  G06V10/82

Abstract: 本发明提供一种基于多任务低维隐码和神经辐射场的机器人回环检测方法，包括以下步骤：先提取当前帧信息，跟踪相机位姿，然后判断当前帧是否为关键帧，若为关键帧，则根据关键帧判断当前帧是否为地点帧和共视帧，根据地点帧的聚类结果进行回环检测，成功检测到回环后，使用图的二阶优化算法进行相机位姿调整；最后根据已有相机位姿信息进行建图与全局束调整，进行三维建模。本发明充分利用现有特征点信息以及图片本身所提供的点云信息进行回环检测，回环检测所需帧信息直接从所存储的信息中提取，不需进行二次处理，仍然可以保持较高检测精度，简化了回环检测流程。

公开(公告)号：CN118734248A

公开(公告)日：2024-10-01

申请号：CN202410859676.X

申请日：2024-06-28

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  周斐炜 ,  唐佳佳 ,  宋紫诺 ,  杨紫薇 ,  龙海涛 ,  王宝德 ,  马迪

IPC: G06F18/25 ,  G06F18/241 ,  G06V10/80 ,  G06V20/70 ,  G06V10/82 ,  G06V10/764 ,  G06V10/74 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开一种跨样本模态动态轮转的情感识别方法及其系统。首先获取多模态数据及情感分类注释，再进行对应的模态编码器预处理，得到对应初步模态特征信息。然后，使用门控残差自注意力机制捕获更深层次的模态注意力特征，并从模态情感语义信息丰富程度考量，将单模态独立情感注释与其结合共同计算出集成后的模态分数序列，进而该轮转周期下确定的模态轮转顺序。最后，使用基于跨模态门控残差注意力机制的多模态融合手段，依照该轮转顺序进行融合。本发明提出了使模态自身依据独立情感注释动态调整融合顺序的思想，着重考虑了模态之间的情感语义信息不平衡问题，探究模态主次问题对多模态情感检测领域的影响，突破了传统的主次模式。

公开(公告)号：CN118378212A

公开(公告)日：2024-07-23

申请号：CN202410490885.1

申请日：2024-04-23

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  王宝德 ,  唐佳佳 ,  周斐炜 ,  龙海涛

IPC: G06F18/25 ,  G06F40/30 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0499 ,  G06N3/09 ,  G06F18/21

Abstract: 本发明提出基于细粒度语义分解网络的多模态情感分析方法及其系统，多模态数据通过细粒度语义分解网络利用模态内语义解纠缠过程是分析同一模态内隐性语义线索，模态间语义解纠缠被用来同时检测跨模态的共同和内在语义线索。在此基础上，基于跨语义空间语义交互网络，从全局的角度探讨了语言和非语言语义空间之间的长距离跨语义空间的语义联系。上述具有局部和全局视图的语义解纠缠过程显著地增强情感检测模型的鲁棒性和性能，即使对于由多个语义线索组成的情感情况。

公开(公告)号：CN118968560A

公开(公告)日：2024-11-15

申请号：CN202411144440.4

申请日：2024-08-20

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  陈美如 ,  金宣妤 ,  刘栋军 ,  周斐炜 ,  马迪

IPC: G06V40/10 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/094 ,  G06V10/82 ,  G06V10/764 ,  G06V10/44 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/0442

Abstract: 本发明公开了一种单源域适应跨时段脑纹识别方法，该跨时段脑纹识别方法通过数据对齐处理受试者的数据，并使用域鉴别器对抗模块和关联域自适应模块来构建跨时段脑纹识别模型，能够在只有一个时段的脑电数据作为源域的情况下，仍能识别不同时段的脑电信号，解决了传统脑纹识别中跨时段数据泛化能力较弱和脑电标记数据不足的问题；同时，该跨时段脑纹识别方法采用的数据对齐方式并不需要被试标签，而是直接在原有脑电数据上进行变换，使其适应这些变化并提取域不变特征，从而实现单源域适应跨时段脑电信号的身份预测。此外，该跨时段脑纹识别方法引入自注意力机制来识别关键特征，减少对冗余信息的过度响应，从而提高特征的鲁棒性。

公开(公告)号：CN118297053A

公开(公告)日：2024-07-05

申请号：CN202410485156.7

申请日：2024-04-22

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  龙海涛 ,  唐佳佳 ,  周斐炜 ,  王宝德

IPC: G06F40/253 ,  G06F40/30 ,  G06N3/0475 ,  G06N3/0455 ,  G06N3/094 ,  G06F18/25

Abstract: 本发明公开一种基于标签嵌入的多模态多标签情感分析方法及系统。首先获取文本、音频和视频三种模态特征序列以及标签嵌入，通过对抗式多模态细化模块得到它们的公有特征序列和以及各自的私有特征序列。然后将公有特征序列和私有特征序列以及标签嵌入输入到训练好的情感标签预测模块中，得到待预测对象的情感预测结果。本发明采用Transformer编码器进行单一模态特征提取，并且采用了对抗生成器进一步将模态特征细化，为了更加细粒度地融合多模态特征，还采用了跨模态编码器，还有为了充分探索标签和模态之间联系，引入了标签引导解码器，克服了模态和标签交互不足的问题，并且还能提高多模态多标签情感分析的准确率。