-
公开(公告)号:CN117648604A
公开(公告)日:2024-03-05
申请号:CN202311636395.X
申请日:2023-11-30
Applicant: 杭州电子科技大学
IPC: G06F18/24 , A61B5/369 , A61B5/372 , A61B5/00 , G06F18/213 , G06F18/25 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开一种基于动态图特征网络的脑机目标读取方法及系统。该系统包括动态时序图构建模块、双分支图池化模块和时序动态注意力模块。时序动态图构建模块捕获了脑电信号通道之间随时间变化的连通性关系。双分支池化模块在对特征进行提纯的过程中保留了局部结构信息与全局结构信息,减少了有效信息的丢失。最后,时序动态注意力模块使模型更加关注与任务相关的表征,从而提高模型整体的分类性能。相比于现有的事件相关电位识别方法,本发明的结果更优。本发明克服了静态图网络在动态捕捉EEG信号通道之间随时间变化的连通性方面的局限性。并且,本发明通过双分支图池化模块与时序动态注意力模块的帮助,模型可以捕获与任务高度相关的特征。
-
公开(公告)号:CN112949369B
公开(公告)日:2024-02-09
申请号:CN202011284824.8
申请日:2020-11-17
Applicant: 杭州电子科技大学
IPC: G06F16/53 , G06F16/58 , G06V40/16 , G06V20/52 , G06V20/40 , G06V10/774 , G06N3/04 , G06F16/532
Abstract: 本发明公开了一种基于人机协同的海量人脸图库检索方法。计算机视觉提取的低级特征与人类视觉捕获的高级语义特征有所差距,所以计算机视觉检索结果远不能达到人的期望。人脸图像在低级轮廓特征上差距不大,仅依靠计算机视觉很难对相似人脸进行区分。本发明如下:1、建立图库;2、用人看人像图产生的脑电信号训练EEG分类模型;3、使用EEG分类模型在线迭代,从图像数据中检索出被试者需要的目标图像。本发明中的人脸图片检索方法与传统人脸检索方法不同,通过将人脑强大的认知能力与计算机的快速计算能力、海量存储能力相结合,实现了快速,准确,鲁棒的海量人脸图片检索,具有显著的应用价值。
-
公开(公告)号:CN117272271A
公开(公告)日:2023-12-22
申请号:CN202311241568.8
申请日:2023-09-25
Applicant: 杭州电子科技大学
IPC: G06F21/32 , G06F3/01 , G06F18/15 , G06F18/2131 , G06F18/2415 , G06N3/0464 , G06N3/045 , G06N3/048 , G06N3/096
Abstract: 本发明公开基于傅立叶幅度特征泛化的跨时段脑电信号身份识别方法。采集视觉刺激下的多个时段脑电数据;提取脑电数据的傅立叶幅值;搭建教师网络和学生网络,对其进行训练;利用训练好的学生模型中基础神经网络B、分类器搭建域不变特征的脑电身份识别网络,并利用域不变特征的脑电身份识别网络实现脑电身份识别。本发明利用脑电信号的傅立叶幅值作为域不变特征,采用域泛化技术提取特征后获得更有判别力的特征。利用脑电信号的傅立叶幅度增强了模型对更加体现被试身份信息的特征的学习,抑制了模型对脑电信号中与身份信息无关的信息的学习,从而使脑电信号的身份识别具有更好的鲁棒性和普适性。
-
公开(公告)号:CN117095793A
公开(公告)日:2023-11-21
申请号:CN202311123740.X
申请日:2023-09-01
Applicant: 杭州电子科技大学
IPC: G16H20/70 , A61B5/374 , A61B5/291 , A61B5/256 , A61B5/00 , G06F3/01 , G06F18/2411 , G06F18/10 , G06F18/213
Abstract: 本发明提供了一种基于脑机接口的运动想象训练系统;该系统通过设计画面的刺激让受试者进行上肢的运动想象任务,通过脑电采集设备实时采集脑电的信号。先通过离线采集信号进行信号预处理、特征提取后训练SVM(支持向量机)模型,之后通过在线实时采集脑电信号,进行预处理、特征提取后,使用训练好的SVM模型进行分类任务的识别。之后将分类结果传输给游戏进行游戏中的动作。这一过程中,本发明利用识别到的结果与使用者进行视觉交互,通过游戏的形式来促使使用者主动进行持续的运动想象。此外,本发明使用无线干电极脑电帽配合电脑使用,方便使用者随时随地进行运动想象训练。
-
公开(公告)号:CN116597034A
公开(公告)日:2023-08-15
申请号:CN202310556749.3
申请日:2023-05-17
Applicant: 杭州电子科技大学
IPC: G06T11/00 , G06N3/0475 , G06N3/045
Abstract: 本发明公开了一种基于区域结构一致性的汉字书法字体图像生成方法。该方法如下1.获取基础字体图像和目标字体真实图像。基础字体图像包含需要生成目标字体的汉字。2.以编码器‑解码器为基础结构,构建用于输入基础字体图像生成目标字体仿真图像的生成器。3.构建用于判别目标字体仿真图像与目标字体真实图像的判别器。判别器对输入的图像数据的每一个独立的区域进行评价打分。4.构建用于字体骨架结构约束的区域结构一致性网络。5.网络训练。6.生成所需汉字的目标字体。本发明在书法字体图像生成网络中设置区域结构一致性模块,在生成过程中对汉字骨架结构进行有效约束,使生成的目标字体仿真图像字体结构清晰,能有效还原笔划细节。
-
公开(公告)号:CN116595404A
公开(公告)日:2023-08-15
申请号:CN202310235690.8
申请日:2023-03-13
Applicant: 杭州电子科技大学
IPC: G06F18/24 , G06F18/213 , G06F3/01 , G06N3/0464 , G06N3/0442 , G06N3/048 , G06N3/08
Abstract: 本发明公开了基于注意力机制的时空特征提取脑电目标空间定位方法。该方法采用脑机接口中的快速序列视觉呈现范式,采集被试在执行观看任务时的脑电数据。然后依次提取脑电数据的通道空间注意力特征与时空特征,再进一步提取了深度时空特征。最后基于深度时空特征进行目标空间位置定位。该方法在特征提取过程中采用两个轻量级的卷积神经网络和一个紧凑的卷积神经网络,有效降低网络的计算量,适合小数据量的数据训练。在空间时间特征提取上加入了注意力机制,显式地解耦空间和时间信息,运用了整个脑电图的多通道的丰富信息,能够对来自四个方向的目标进行空间定位。
-
公开(公告)号:CN116451059A
公开(公告)日:2023-07-18
申请号:CN202310313394.5
申请日:2023-03-28
Applicant: 杭州电子科技大学
IPC: G06F18/2131 , G06F18/2132 , G06F18/10 , G06F18/241 , G06F18/2415 , G06N3/0464 , G06N3/047 , G06N3/048 , G06N3/084 , G06N3/0895 , G06F3/01
Abstract: 本发明公开了一种基于注意力机制的对比表征脑机视频目标检测方法。该方法使用了两个轻量级的卷积神经网络和一个多头注意力机制的卷积神经网络,对大脑的注意力信息进行解码分类,利用脑电通道与时间维度的注意力机制以及通过对比表征的方法解决类不平衡问题,具体在训练特征提取器的阶段,对时间和空间维度的特征提取上加入了注意力机制,可以显式的解耦出空间和时间上的信息,并且通过样本对内对比学习的方式解耦出两个类间的微弱的特征差异,在特征提取的后期阶段引入多头注意力机制以学习样本的多个特征来发现微弱细小特征差异。从而定位目标是否出现以及消失的时间,解决P300特征在长视频检测中衰弱以及正负样本的长尾分布问题。
-
公开(公告)号:CN114118200B
公开(公告)日:2023-05-12
申请号:CN202111120932.6
申请日:2021-09-24
Applicant: 杭州电子科技大学
IPC: G06F18/2415 , G06F16/906
Abstract: 本发明公开一种基于注意力引导双向胶囊网络的多模态情感分类方法。由于具有可训练的视点不变变换特性,胶囊网络目前在分析多模态学习的异质性问题上已经证明了它的有效性。在预处理阶段,本发明提供了多模态动态交互增强模块,在特征层面上显式地增强了跨模态同质性,这有利于模型在更加紧凑的局部公共空间内有效地执行多模态解耦过程。在此基础上,提出了基于注意力引导的双向胶囊网络(ABCN),通过新的双向动态路由机制来探索全局多模态公共消息。然后,利用全局多模态上下文来指导多模态动态路由过程,同时研究每个模态的全局最优公共线索。这大大提高了学习效率,并提供了在所有模式之间架起桥梁的优越能力。
-
公开(公告)号:CN113974628B
公开(公告)日:2023-04-07
申请号:CN202111272389.1
申请日:2021-10-29
Applicant: 杭州电子科技大学
IPC: A61B5/16 , A61B5/369 , A61B5/378 , A61B5/00 , G06F18/10 , G06F18/213 , G06F18/24 , G06F18/25 , G06F18/214 , G06N3/08 , G06N20/00 , G06N3/0464
Abstract: 本发明公开一种基于脑机模态共空间的情绪识别方法。针对情绪识别任务,人脑处理信息后得到的是具有情感的认知表征,而机器学习到的仅仅是图像的形式表征,如果能够建立两者之间的共性关系,通过“人脑”引导“机器”学习,将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器,需要建立图像模态和脑电模态的共空间模型,从而获取形式表征和认知表征之间的共性信息。本发明将探索脑电模态与图像模态之间的共性关系,建立形式表征与认知表征之间的联系,实现脑机协同智能。为了减少认知表征与形式表征间的差异,使得形式表征无限逼近认知表征,本发明设计一种“基于脑机模态共空间的情绪识别方法”。
-
公开(公告)号:CN115659242A
公开(公告)日:2023-01-31
申请号:CN202211377291.7
申请日:2022-11-04
Applicant: 杭州电子科技大学
IPC: G06F18/241 , G06F18/25 , G06F18/15 , G06F40/30 , G06V20/40 , G06V10/82 , G10L25/30 , G10L25/63 , G06N3/0455 , G06N3/0442 , G06N3/0464
Abstract: 本发明公开一种基于模态增强卷积图的多模态情感分类方法。本发明提出了一个新的模态增强融合框架,它基于图卷积神经网络,为融合未对齐的多模态序列提供了一个有效的方法。在文本模态的帮助下,首先使用多模态增强模块来增强视觉和听觉模态以获得具有更强情感鉴别性的模态信息,从而帮助后续的聚合过程。此外,还构建了文本驱动的多模态特征图来进行模态融合,这可以有效地处理图卷积聚合过程中各模态之间的不平衡问题。最后将模态增强卷积图中提取的融合信息整合到文本表征中,从而动态地将原始文本表征向最准确的多模态语义空间转化。相比于现有多模态融合方法,本发明的结果更优。
-
-
-
-
-
-
-
-
-