-
公开(公告)号:CN114936552A
公开(公告)日:2022-08-23
申请号:CN202210624963.3
申请日:2022-06-02
Applicant: 杭州电子科技大学
IPC: G06F40/284 , G06K9/62
Abstract: 本发明公开一种未对齐行为信息动态调整单词表示的多模态情感识别方法。本发明利用跨模态注意力机制,挖掘与文本模态相关的行为信息(由视觉是听觉模态组成),然后利用行为信息来动态的修改文本模态中的单词在语义空间中的位置,从而得到经过多模态信息调整后的单词表示。同时,跨模态注意力机制能够在长距离范围内关注到与文本模态相关的行为信息,因此能够很好的解决多模态学习中存在的固有问题—各个模态信息之间的频率不匹配。其次,在此基础上构建若干个多模态Transformer层,能够进一步挖掘经过多模态信息调整后的单词表示在上下文环境中的高级特征信息,是对当前情感识别领域的多模态融合框架的有效补充。
-
公开(公告)号:CN112698720B
公开(公告)日:2022-07-08
申请号:CN202011541158.1
申请日:2020-12-23
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于互信息特征提取及多人融合的运动想象识别方法。本发明如下:1.通过多通道脑电采集设备同时采集P个用户进行运动想象的脑电信号。2.对采集到的P个用户的脑电数据分别进行预处理。3.对每次采集的脑电数据分别提取一个或多个互信息向量。4.多人运动想象识别。本发明利用提取多人脑电互信息,并通过三种不同层次的融合策略,最终由K近邻算法进行分类,能够快速、准确地实现基于多人脑电数据的人脑运动想象识别。
-
公开(公告)号:CN114469090A
公开(公告)日:2022-05-13
申请号:CN202111674867.1
申请日:2021-12-31
Applicant: 杭州电子科技大学
IPC: A61B5/16 , A61B5/369 , A61B5/378 , A61B5/38 , A61B5/00 , G06F3/01 , G06K9/00 , G06N3/04 , G06N3/08
Abstract: 本发明专利的目的在于克服现有技术的不足,提供一种基于跨脑耦合关系计算的情感识别在线脑机接口系统,该系统支持多人同时使用,提升在线识别的精度和稳定性,实现对细粒度具体情感的识别。本发明基于跨脑耦合关系计算的脑电情感识别方法,具体步骤如下:步骤一:情感刺激任务;步骤二:多人脑电同步采集;步骤三、数据预处理形成训练集;步骤四、打标签;步骤五、脑电耦合关系训练;步骤六、训练结果耦合关系特征计算验证。本发明提供的跨脑融合关系计算的情感识别方法通过脑电设备采集多名用户的脑电数据,并对跨脑耦合关系特征进行提取,并在线计算细粒度具体情感的识别正确率,可显著提高情感识别正确率。
-
公开(公告)号:CN112612936B
公开(公告)日:2022-03-08
申请号:CN202011581373.4
申请日:2020-12-28
Applicant: 杭州电子科技大学
IPC: G06F16/906 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开一种基于对偶转换网络的多模态情感分类方法。本发明结合对偶学习机制以及自注意力机制,在将一个模态转换为另一个模态的过程中,挖掘模态对之间具有方向性的长时交互的跨模态融合信息。同时,对偶学习技术能够增强模型的鲁棒性,因此能很好地应对多模态学习中存在的固有问题——模态数据缺失问题。其次,在此基础上构建的分层融合框架,将所有具有同一个源模态的跨模态融合信息拼接在一块,从而采用一维卷积层进行融合操作,能够进一步挖掘多模态信息之间的高层次互补信息,是对当前情感识别领域的多模态融合框架的有效补充。
-
公开(公告)号:CN113977582A
公开(公告)日:2022-01-28
申请号:CN202111341855.7
申请日:2021-11-12
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于DMP的下肢外骨骼上楼梯控制方法。本发明的具体步骤如下:1.上楼梯髋、膝关节角度数据采集。2.对步骤1采集的角度数据进行预处理。3.使用激光测距模块测量楼梯高度与宽度。4.建立DMP步态生成模型。5.利用训练好的DMP模型,实时规划出上楼梯步态轨迹。本发明创新性地对外骨骼运动的髋、膝关节角度曲线进行分段,使用DMP分别对两段曲线进行学习,利用几何关系通过楼梯高度、宽度推算出髋、膝关节的角度,将其作为目标点输入DMP,自动生成相应的上楼梯步态角度曲线。本发明实现了楼梯尺寸数据的自动测量,得到的上楼梯轨迹曲线实验效果良好。
-
公开(公告)号:CN113974628A
公开(公告)日:2022-01-28
申请号:CN202111272389.1
申请日:2021-10-29
Applicant: 杭州电子科技大学
IPC: A61B5/16 , A61B5/369 , A61B5/378 , A61B5/00 , G06K9/00 , G06K9/62 , G06N3/04 , G06N3/08 , G06N20/00
Abstract: 本发明公开一种基于脑机模态共空间的情绪识别方法。针对情绪识别任务,人脑处理信息后得到的是具有情感的认知表征,而机器学习到的仅仅是图像的形式表征,如果能够建立两者之间的共性关系,通过“人脑”引导“机器”学习,将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器,需要建立图像模态和脑电模态的共空间模型,从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系,建立形式表征与认知表征之间的联系,实现脑机协同智能。为了减少认知表征与形式表征间的差异,使得形式表征无限逼近认知表征,本发明设计一种“基于脑机模态共空间的情绪识别方法”。
-
公开(公告)号:CN110363157B
公开(公告)日:2021-08-31
申请号:CN201910645407.2
申请日:2019-07-17
Applicant: 杭州电子科技大学 , 福建中医药大学附属康复医院
IPC: G06K9/00
Abstract: 本发明公开基于时间编码的外骨骼混合脑机接口控制方法。本发明主要使用稳态诱发电位脑机接口实现外骨骼运动模式之间切换,使用运动想象脑机接口实现外骨骼运动状态之间切换,两者与时间窗编码相融合,并由编码时间窗所处的不同状态选取相应脑机接口算法进行单次决策。综合连续的单次决策结果,输出综合决策的结果,并映射为外骨骼控制指令进行下发。其可辅助使用者根据主动运动意图在7种运动模式与运动状态之间切换:直立,行走,坐,上楼梯,下楼梯,左腿前进,右腿前进。本发明将7分类转变为2分类与空闲状态的检测,可有效的降低系统的假阳性率并提高识别率。
-
公开(公告)号:CN113208593A
公开(公告)日:2021-08-06
申请号:CN202110378481.X
申请日:2021-04-08
Applicant: 杭州电子科技大学
Abstract: 本发明公开了基于相关性动态融合的多模态生理信号情绪分类方法,该方法首先采集多模态生理信号,再使用神经网络进行特征提取,然后计算两两模态间的皮尔逊相关系数,按照相关性系数的大小确定多模态两两融合的顺序,首先融合相关性大的两个模态特征向量,再依次融合相关性小的其他特征向量。最后使用全连接层对采集的多模态生理信号进行分类,并使用交叉熵损失函数与Adam优化器进行整体的训练、优化。本方法基于时序动态的相关性系数对多模态生理信号进行两两融合,使输入分类器的特征向量包含更丰富的信息,提高了分类准确度。
-
公开(公告)号:CN113139573A
公开(公告)日:2021-07-20
申请号:CN202110257704.7
申请日:2021-03-09
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于条件双分支注意力机制的鲁棒声纳图像生成方法。本发明采用深度学习技术对复杂水下环境进行声纳图像仿真成像。本发明打破了传统的声纳仿真技术注重底层的物理建模,在多类别、多背景的情况下存在着图像可调性差、逼真度低的局限。该方法能够利用条件信息有效地控制特定条件声纳图像的生成,通过一种双分支注意特征融合机制,依次完成信道级和像素级的注意操作,增强相应元素之间的相关性,从而生成更加清晰、逼真的声纳图像。通过实验发现,该方法在声纳图像仿真上取得很好的表现,且在噪声干扰环境下具有鲁棒的成像效果,说明深度学习方法在声呐图像仿真上的可行性,为复杂水声环境数据中的图像仿真提供了新的研究手段。
-
公开(公告)号:CN112541415A
公开(公告)日:2021-03-23
申请号:CN202011399687.2
申请日:2020-12-02
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于符号传递熵和图论的脑肌功能网络运动疲劳检测方法;首先,通过64导联脑电帽和肌电采集仪采集了10通道脑电信号和尺侧腕屈肌、屈指浅肌、桡侧腕屈肌的表面肌电信号。结合符号传递熵和图论知识建立了脑肌功能网络,并提取了网络特征向量用于K最近邻算法训练分类器,最终用于检测运动疲劳。该方法克服了传统的基于生物电信号的运动疲劳检测方法中未全面考虑脑肌协作进行运动控制的缺点,将脑电信号和肌电信号结合进行运动疲劳检测,结果显示该方法在运动疲劳检测中具有较高的准确率。
-
-
-
-
-
-
-
-
-