一种基于脑机跨模态迁移的情绪识别方法

    公开(公告)号:CN113974625B

    公开(公告)日:2024-05-03

    申请号:CN202111210470.7

    申请日:2021-10-18

    Abstract: 本发明公开一种基于脑机跨模态迁移的情绪识别方法。针对情绪识别任务,人脑处理信息后得到的是具有情感的认知表征,而机器学习到的仅仅是图像的形式表征,如果能够建立两者之间的迁移关系,通过“人脑”引导“机器”学习,将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器,需要建立图像模态与脑电模态的跨模态迁移模型,从而获取形式表征和认知表征之间的迁移关系。本发明将探索脑电模态与图像模态之间的迁移关系,建立形式表征与认知表征之间的联系,实现脑机协同智能。为了减少认知表征与形式表征间的差异,使得形式表征无限逼近认知表征,本发明设计一种“基于脑机跨模态迁移的情绪识别方法”。

    一种基于张量化高阶互注意力机制的多源域适应方法

    公开(公告)号:CN113537292B

    公开(公告)日:2024-02-09

    申请号:CN202110678075.5

    申请日:2021-06-18

    Abstract: 本发明公开一种基于张量化高阶互注意力机制的多源域适应方法。通过共享子网络构建初级特征提取器以提取多源域数据的浅层共有特征。其次,分别构造不同源域的深层特征提取器,目标域数据分别通过这些深层特征提取器以提取与不同源域相关的特征。在深层特征的基础上,通过高阶互注意力机制挖掘多源域空间深层特征之间的高阶相关性,并应用于目标域,从而与度量目标域与源域特征分布差异的损失函数一起指导目标域与源域的域不变特征提取。最后,分别训练每个源域的特征分类器,将目标域数据特征分别输入这些分类器,得到所有预测结果的平均作为最终目标域数据的预测结果。本发明有效挖掘多源域特征间的相关性,适用于多源域适应。

    一种基于特征去相关解耦的任务无关脑纹识别方法

    公开(公告)号:CN116150670A

    公开(公告)日:2023-05-23

    申请号:CN202211571546.3

    申请日:2022-12-08

    Abstract: 本发明公开一种基于特征去相关解耦的任务无关脑纹识别方法。现有方法缺乏对大脑固有的身份信息的挖掘导致,这使得脑纹识别在跨任务场景下的鲁棒性较差,难以在实际应用中推广。本发明首先采用两个分支网络分别粗粒度分解脑电中的身份信息和任务相关信息;其次,考虑到任务状态对身份信息的影响,采用去相关的方法使得身份信息和任务相关信息尽可能独立;最后,通过对抗自监督的方式充分利用脑电中的脑纹特征用于分类。本发明方法性能良好,能够实现高效的任务无关脑纹识别,是一种可鲁棒地用于现实生活中的脑纹识别方法。

    基于张量化频空注意力域适应网络的跨时段脑纹识别方法

    公开(公告)号:CN115969392A

    公开(公告)日:2023-04-18

    申请号:CN202310129985.7

    申请日:2023-02-17

    Abstract: 本发明公开基于张量化频空注意力域适应网络的跨时段脑纹识别方法。针对现有大多数多源域自适应方法是单独弥合多个源域和目标域之间的域差距,而忽略各分布对齐域不变特征之间的关系。本发明通过建模域不变特征的重要关系辅助目标域的性能,而不受源域之间分布差异的影响。采用一种新的张量化频空注意网络(TSFAN),以联合合并成对源和目标以及跨源域的适当公共频空特征。考虑到维度的问题,TSFAN进一步近似地表示为低秩Tucker格式,使TSFAN在域的数量上线性扩展,将TSFAN扩展到与任意时段数量的情况。本发明能够实现高效的跨时段任务无关脑纹识别,是可用于现实生活中便携式脑纹识别的一种有效方法。

    一种基于脑机生成对抗的情绪识别方法

    公开(公告)号:CN113974627B

    公开(公告)日:2023-04-07

    申请号:CN202111248689.6

    申请日:2021-10-26

    Abstract: 本发明公开一种基于脑机生成对抗的情绪识别方法。针对情绪识别任务,人脑处理信息后得到的是具有情感的认知表征,而机器学习到的仅仅是图像的形式表征,如果能够建立两者之间的生成关系,通过“人脑”引导“机器”学习,将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器,需要建立图像视觉特征到脑电情感特征的生成模型,从而实现形式表征到认知表征之间的生成。本发明将探索脑电情感特征与图像视觉特征之间的关系,建立形式表征与认知表征之间的联系,实现脑机协同智能。为了减少认知表征与形式表征间的差异,使得形式表征无限逼近认知表征,本发明设计一种“基于脑机生成对抗的情绪识别方法”。

    一种基于强化学习的多源域迁移目标识别方法

    公开(公告)号:CN114202031A

    公开(公告)日:2022-03-18

    申请号:CN202111539029.3

    申请日:2021-12-15

    Abstract: 本发明公开一种基于强化学习的多源域迁移目标识别方法。本发明使用强化学习来训练数据选择策略,以选择高质量的源域数据,目的是防止负转移及多个源域和目标域之间存在的域差异。在源域数据上的数据选择器“作用”以找到用于优化TL模型的子集,而TL模型的性能可以提供“奖励”以更新选择器。我们基于SoftActor‑Critic(柔性执行器‑评价器)算法框架构建加强数据选择器,并将其集成到基于DNN的迁移学习模型,从而变成强化迁移学习(RTL)方法。经过不同的状态,奖励和策略优化方法的设置,确认本发明提供的模型的稳健性。对PI和NLI任务的广泛实验表明,本发明提供的模型可以优于具有统计显着改进的现有方法。

    一种情感识别的方法、装置、设备和介质

    公开(公告)号:CN114168823A

    公开(公告)日:2022-03-11

    申请号:CN202111463362.0

    申请日:2021-12-02

    Abstract: 本申请提供了一种情感识别的方法、装置、设备和介质,该方法包括:获取目标对象的多个模态分别对应的模态特征;基于多个所述模态特征分别构造第一张量和第二张量,所述第一张量的维度和所述第二张量的维度基于所述模态的个数确定;将所述第一张量和所述第二张量分别作为基于注意力机制的神经网络的查询值和关键值;根据所述查询值和所述关键值获得每个模态分别对应的核张量及基于所述核张量得到的池化矩阵;针对所述多个模态中的目标模态,将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合,得到所述目标模态对应的注意力表示;基于每个模态的所述注意力表示获得所述目标对象的情感分类结果。

    基于多通道张量池化的多模态深度分层融合情感分析方法

    公开(公告)号:CN111178389B

    公开(公告)日:2022-02-11

    申请号:CN201911244389.3

    申请日:2019-12-06

    Abstract: 本发明涉及基于多通道张量池化的多模态深度分层融合情感分析方法。基于注意力机制方法,可以对多模态数据设定相应权重,划分不同模态数据的重要程度,从而根据不同模态数据对任务的不同贡献程度,在融合部分放大贡献程度大的多模态数据在交互时的作用。而相对于单通道多项式张量池化模块,多通道多项式张量池化模块能够从细粒度层面获得鲁棒性高的局部高维度复杂非线性交互信息。本发明在判定多模态数据重要程度基础上,能从细粒度层面刻画稳定的局部高维复杂动态交互信息,是对当前情感识别领域的多模态融合框架的有效补充。

Patent Agency Ranking