基于多分支注意力特征融合的跨时段脑纹识别方法及系统

    公开(公告)号:CN117521007A

    公开(公告)日:2024-02-06

    申请号:CN202311470714.4

    申请日:2023-11-07

    Abstract: 本发明公开了基于多分支注意力特征融合的跨时段脑纹识别方法及系统。传统深度学习网络通常指采用一种固定卷积核,忽略了不同被试、不同时域间数据分布的差异。此外,脑电信号的获取成本高昂导致中小样本数据无法提供足量的信息支撑模型学习域不变信息。考虑到多时段被试特征的差异性,本发明提出了多分支注意力特征融合模型。首先,对于不同时段数据采用不同大小的卷积层提取特征。然后,构建基于特征融合正则化模块,对融合后的特征进行搅动融合处理,并计算正样本间正则化损失。在多分支网络的深度可分离卷积层前,本发明采用通道注意力机制对每个通道和时域特征进行注意力权重计算。基于此,本发明能够有效实现跨时段的被试脑纹识别。

    一种基于因果解耦生成模型的域泛化图像识别方法

    公开(公告)号:CN114863213B

    公开(公告)日:2024-04-16

    申请号:CN202210512236.8

    申请日:2022-05-11

    Abstract: 本发明公开一种基于因果解耦生成模型的域泛化图像识别方法。域泛化的目的是从多个源域数据中学习域不变表示很好的泛化到不可见的目标域,但是学习域不变特征的最大挑战在于从纠缠的特征空间中分解出语义信息和域信息。考虑到因果特征具有跨域不变的特性,本发明提出了因果解耦表征模型。首先,将跨域稳定的因果结构模型作为先验引入。然后,构建基于因果结构的生成模型,分别为任务相关和域相关特征建模。特别的是,两个隐特征之间的双向因果依赖通过一种干预手段解除,从而有效消除域相关特征对预测任务的影响。结果证明,本发明提出的方法能够有效解耦出任务相关和域相关特征,超过了大多数的解决域泛化的方法。

    基于傅立叶幅度特征泛化的跨时段脑电信号身份识别方法

    公开(公告)号:CN117272271A

    公开(公告)日:2023-12-22

    申请号:CN202311241568.8

    申请日:2023-09-25

    Abstract: 本发明公开基于傅立叶幅度特征泛化的跨时段脑电信号身份识别方法。采集视觉刺激下的多个时段脑电数据;提取脑电数据的傅立叶幅值;搭建教师网络和学生网络,对其进行训练;利用训练好的学生模型中基础神经网络B、分类器搭建域不变特征的脑电身份识别网络,并利用域不变特征的脑电身份识别网络实现脑电身份识别。本发明利用脑电信号的傅立叶幅值作为域不变特征,采用域泛化技术提取特征后获得更有判别力的特征。利用脑电信号的傅立叶幅度增强了模型对更加体现被试身份信息的特征的学习,抑制了模型对脑电信号中与身份信息无关的信息的学习,从而使脑电信号的身份识别具有更好的鲁棒性和普适性。

    一种基于注意力引导双向胶囊网络的多模态情感分类方法

    公开(公告)号:CN114118200B

    公开(公告)日:2023-05-12

    申请号:CN202111120932.6

    申请日:2021-09-24

    Abstract: 本发明公开一种基于注意力引导双向胶囊网络的多模态情感分类方法。由于具有可训练的视点不变变换特性,胶囊网络目前在分析多模态学习的异质性问题上已经证明了它的有效性。在预处理阶段,本发明提供了多模态动态交互增强模块,在特征层面上显式地增强了跨模态同质性,这有利于模型在更加紧凑的局部公共空间内有效地执行多模态解耦过程。在此基础上,提出了基于注意力引导的双向胶囊网络(ABCN),通过新的双向动态路由机制来探索全局多模态公共消息。然后,利用全局多模态上下文来指导多模态动态路由过程,同时研究每个模态的全局最优公共线索。这大大提高了学习效率,并提供了在所有模式之间架起桥梁的优越能力。

    一种基于因果解耦生成模型的域泛化图像识别方法

    公开(公告)号:CN114863213A

    公开(公告)日:2022-08-05

    申请号:CN202210512236.8

    申请日:2022-05-11

    Abstract: 本发明公开一种基于因果解耦生成模型的域泛化图像识别方法。域泛化的目的是从多个源域数据中学习域不变表示很好的泛化到不可见的目标域,但是学习域不变特征的最大挑战在于从纠缠的特征空间中分解出语义信息和域信息。考虑到因果特征具有跨域不变的特性,本发明提出了因果解耦表征模型。首先,将跨域稳定的因果结构模型作为先验引入。然后,构建基于因果结构的生成模型,分别为任务相关和域相关特征建模。特别的是,两个隐特征之间的双向因果依赖通过一种干预手段解除,从而有效消除域相关特征对预测任务的影响。结果证明,本发明提出的方法能够有效解耦出任务相关和域相关特征,超过了大多数的解决域泛化的方法。

    一种基于注意力引导双向胶囊网络的多模态情感分类方法

    公开(公告)号:CN114118200A

    公开(公告)日:2022-03-01

    申请号:CN202111120932.6

    申请日:2021-09-24

    Abstract: 本发明公开一种基于注意力引导双向胶囊网络的多模态情感分类方法。由于具有可训练的视点不变变换特性,胶囊网络目前在分析多模态学习的异质性问题上已经证明了它的有效性。在预处理阶段,本发明提供了多模态动态交互增强模块,在特征层面上显式地增强了跨模态同质性,这有利于模型在更加紧凑的局部公共空间内有效地执行多模态解耦过程。在此基础上,提出了基于注意力引导的双向胶囊网络(ABCN),通过新的双向动态路由机制来探索全局多模态公共消息。然后,利用全局多模态上下文来指导多模态动态路由过程,同时研究每个模态的全局最优公共线索。这大大提高了学习效率,并提供了在所有模式之间架起桥梁的优越能力。

    一种基于脑机跨模态迁移的情绪识别方法

    公开(公告)号:CN113974625A

    公开(公告)日:2022-01-28

    申请号:CN202111210470.7

    申请日:2021-10-18

    Abstract: 本发明公开一种基于脑机跨模态迁移的情绪识别方法。针对情绪识别任务,人脑处理信息后得到的是具有情感的认知表征,而机器学习到的仅仅是图像的形式表征,如果能够建立两者之间的迁移关系,通过“人脑”引导“机器”学习,将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器,需要建立图像模态与脑电模态的跨模态迁移模型,从而获取形式表征和认知表征之间的迁移关系。本发明将探索脑电模态与图像模态之间的迁移关系,建立形式表征与认知表征之间的联系,实现脑机协同智能。为了减少认知表征与形式表征间的差异,使得形式表征无限逼近认知表征,本发明设计一种“基于脑机跨模态迁移的情绪识别方法”。

    基于多元素分层深度融合的轻量级多模态情感分析方法

    公开(公告)号:CN112541541B

    公开(公告)日:2024-03-22

    申请号:CN202011452285.4

    申请日:2020-12-10

    Abstract: 本发明公开了基于多元素分层深度融合的轻量级多模态情感分析方法;本发明以分层的方式建立多模态元素之间的直接相关性,可以捕获不同模态之间的短时和长时依赖性。为避免降低分辨率并保留与每个模态相对应的原始空间结构信息,在选择和强调多模态信息交互时,本发明以广播的形式应用相应的注意力权重。此外,本发明也提出了一个新的张量算子,称为Ex‑KR加法,以利用共享信息来融合多模态元素信息得到全局张量表征。这是针对当前多模态情感识别领域中大多数方法仅仅关注在局部的时序‑多模态空间中的建模,并且不能明确地学习得到所有参与模态融合的完整的表示形式等问题的有效补充。

Patent Agency Ranking