-
公开(公告)号：CN113974625A
公开(公告)日：2022-01-28
申请号：CN202111210470.7
申请日：2021-10-18
Applicant: 杭州电子科技大学
Abstract: 本发明公开一种基于脑机跨模态迁移的情绪识别方法。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的迁移关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态与脑电模态的跨模态迁移模型，从而获取形式表征和认知表征之间的迁移关系。本发明将探索脑电模态与图像模态之间的迁移关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征，本发明设计一种“基于脑机跨模态迁移的情绪识别方法”。
-
公开(公告)号：CN119848757A
公开(公告)日：2025-04-18
申请号：CN202411790798.4
申请日：2024-12-06
Applicant: 杭州电子科技大学
IPC: G06F18/25 , G06F18/213 , G06V10/80 , G06V10/40
Abstract: 本发明公开了一种基于视觉引导耦合学习的脑电信号6D姿态解码方法。该方法首先从不同角度拍摄同一场景的系列图像。然后以拍摄角度相邻的顺序向被试者播放系列图像，同时采集被试者观看系列图像时的脑电信号。然后将采集的脑电信号与系列图像分别输入编码器中进行独立的特征提取，再输入耦合模块中，提取各模态的私有特征以及模态间的耦合特征。之后将各模态的私有特征和耦合特征进行拼接，再输入全连接层中，解码出单模态下的6D姿态。完成模型训练后，将被试者观看系列图像时的脑电信号单独输入编码器与耦合模块中，利用脑电信号解码出对应系列图像的6D姿态。该方法结合视觉信息增强特征提取的鲁棒性和准确性，克服了方法的局限性。
-
公开(公告)号：CN117668545A
公开(公告)日：2024-03-08
申请号：CN202311625312.7
申请日：2023-11-30
Applicant: 杭州电子科技大学
IPC: G06F18/214 , G06F18/241 , G06F18/213 , G06N3/0464 , G06N3/09 , G06V40/16
Abstract: 本发明公开一种基于脑机增强智能的半监督面部情绪识别方法。鉴于脑电信号包含大脑活动的情感信息和诱发其产生的视觉对象的视觉信息，本发明将其作为监督信息来实现面部情绪图像的标记，从而将大脑感知情绪的能力转移给机器。本发明将脑电信号的呈现方式从二维转变为三维，设计了EEGNet3D。其次，利用由视觉图像刺激诱发的脑电信号与脑电网络相结合，学习大脑活动的判别性脑电类表征流形。然后，通过训练视觉模型将图像投射到学习到的流形上，计算图像特征与脑电类表征之间的相似性分数来获取无标签图像的伪标签。最后，利用伪标签图像扩展训练集，训练分类模型。由此将大脑的情感判断的能力传递给机器，进而实现半监督面部情绪识别。
-
公开(公告)号：CN117636490A
公开(公告)日：2024-03-01
申请号：CN202311817342.8
申请日：2023-12-27
Applicant: 杭州电子科技大学
IPC: G06V40/70 , G06V40/16 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/096 , G06N3/0464
Abstract: 本发明公开一种基于脑机知识蒸馏的面部表情识别方法。深度学习存在许多基本的未决问题。其中一个问题是大型模型的提出，它可以提高性能，但计算成本较高。第二个问题是，收集和标记大型数据集通常是一项成本高昂的工作。与机器不同的是，由于一般原理和认知过程，人脑可以从有限的样本中高效地获得情绪分类所需的信息。为了赋予机器人脑判断情绪的能力，使其具有接近人脑的情绪识别模式，本发明提供一种“基于脑机知识蒸馏的面部表情识别方法“，以提炼人脑知识并将其传递给机器。脑机知识蒸馏框架由教师模型和学生模型组成。教师模型从视觉图像刺激诱发的脑电信号中提炼知识。学生模型处理视觉图像，同时从教师模型中学习认知知识。
-
公开(公告)号：CN114936552A
公开(公告)日：2022-08-23
申请号：CN202210624963.3
申请日：2022-06-02
Applicant: 杭州电子科技大学
IPC: G06F40/284 , G06K9/62
Abstract: 本发明公开一种未对齐行为信息动态调整单词表示的多模态情感识别方法。本发明利用跨模态注意力机制，挖掘与文本模态相关的行为信息(由视觉是听觉模态组成)，然后利用行为信息来动态的修改文本模态中的单词在语义空间中的位置，从而得到经过多模态信息调整后的单词表示。同时，跨模态注意力机制能够在长距离范围内关注到与文本模态相关的行为信息，因此能够很好的解决多模态学习中存在的固有问题—各个模态信息之间的频率不匹配。其次，在此基础上构建若干个多模态Transformer层，能够进一步挖掘经过多模态信息调整后的单词表示在上下文环境中的高级特征信息，是对当前情感识别领域的多模态融合框架的有效补充。
-
Patent Agency Ranking
公开(公告)号：CN113977582A
公开(公告)日：2022-01-28
申请号：CN202111341855.7
申请日：2021-11-12
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于DMP的下肢外骨骼上楼梯控制方法。本发明的具体步骤如下：1.上楼梯髋、膝关节角度数据采集。2.对步骤1采集的角度数据进行预处理。3.使用激光测距模块测量楼梯高度与宽度。4.建立DMP步态生成模型。5.利用训练好的DMP模型，实时规划出上楼梯步态轨迹。本发明创新性地对外骨骼运动的髋、膝关节角度曲线进行分段，使用DMP分别对两段曲线进行学习，利用几何关系通过楼梯高度、宽度推算出髋、膝关节的角度，将其作为目标点输入DMP，自动生成相应的上楼梯步态角度曲线。本发明实现了楼梯尺寸数据的自动测量，得到的上楼梯轨迹曲线实验效果良好。
-
公开(公告)号：CN113974628A
公开(公告)日：2022-01-28
申请号：CN202111272389.1
申请日：2021-10-29
Applicant: 杭州电子科技大学
IPC: A61B5/16 , A61B5/369 , A61B5/378 , A61B5/00 , G06K9/00 , G06K9/62 , G06N3/04 , G06N3/08 , G06N20/00
Abstract: 本发明公开一种基于脑机模态共空间的情绪识别方法。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的共性关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态和脑电模态的共空间模型，从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征，本发明设计一种“基于脑机模态共空间的情绪识别方法”。
-
公开(公告)号：CN118968560A
公开(公告)日：2024-11-15
申请号：CN202411144440.4
申请日：2024-08-20
Applicant: 杭州电子科技大学
IPC: G06V40/10 , G06N3/045 , G06N3/0475 , G06N3/094 , G06V10/82 , G06V10/764 , G06V10/44 , G06V10/774 , G06N3/0464 , G06N3/0442
Abstract: 本发明公开了一种单源域适应跨时段脑纹识别方法，该跨时段脑纹识别方法通过数据对齐处理受试者的数据，并使用域鉴别器对抗模块和关联域自适应模块来构建跨时段脑纹识别模型，能够在只有一个时段的脑电数据作为源域的情况下，仍能识别不同时段的脑电信号，解决了传统脑纹识别中跨时段数据泛化能力较弱和脑电标记数据不足的问题；同时，该跨时段脑纹识别方法采用的数据对齐方式并不需要被试标签，而是直接在原有脑电数据上进行变换，使其适应这些变化并提取域不变特征，从而实现单源域适应跨时段脑电信号的身份预测。此外，该跨时段脑纹识别方法引入自注意力机制来识别关键特征，减少对冗余信息的过度响应，从而提高特征的鲁棒性。
-
公开(公告)号：CN118094217A
公开(公告)日：2024-05-28
申请号：CN202410062178.2
申请日：2024-01-16
Applicant: 杭州电子科技大学
IPC: G06F18/214 , G06F18/241 , G06F18/213 , G06N3/0464 , G06N3/09 , G06V40/16
Abstract: 本发明公开一种基于脑机协同训练的半监督面部情绪识别方法，在有标签的图像上训练认知模型和分类模型，使用训练后的认知模型和分类模型预测无标签数据的伪标签，将预测一致的标签作为图像的伪标签。认知模型和分类模型在伪标签扩增后的训练集上更新训练，然后重新预测无标签图像，如此反复；将检测效果最佳的分类模型作为最终分类模型。将被测图像输入最终分类模型，最终分类模型输出被测图像中的对象的情绪类型。本发明通过交替训练认知模型和分类模型，相互验证预测结果获得更高质量的伪标签，防止单一模型过度拟合预测错误的伪标签数据，从而更充分地利用无标签图像数据。
-
公开(公告)号：CN117992728A
公开(公告)日：2024-05-07
申请号：CN202410087929.6
申请日：2024-01-22
Applicant: 杭州电子科技大学
IPC: G06F18/10 , A61B5/369 , A61B5/372 , A61B5/00 , G06F18/213 , G06F18/214 , G06F18/2415 , G06F18/25 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明公开一种基于多尺度卷积与图池化网络的跨时段脑纹识别方法，采用多尺度卷积网络动态地提取脑电信号的时域表示，同时利用图池化网络以数据驱动的方式揭示通道间的内在关系，并通过有效融合从时域和空域中挖掘出的身份特征，实现对跨时段脑电信号的准确分类。本发明在模型训练过程中不需要提前获取待识别脑电数据，在实际应用场景中具有较高的实用价值，为生物特征识别、身份验证等领域提供了创新性的解决方案。
-
-
-
-
-
-
-
-
-
Search Results
27
records
(took 0.018 seconds)
