公开(公告)号：CN117275042A

公开(公告)日：2023-12-22

申请号：CN202311291753.8

申请日：2023-10-08

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  洪晨益 ,  朱佳斌 ,  马龙杰 ,  朱莉 ,  张建海

IPC: G06V40/10 ,  G06V20/40 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了基于事件相关电位的行人重识别视频流复杂目标检测方法。该方法采集了复杂目标在不同场景中出现的视频流，制作成实验范式，采集被试在观看视频内容时的脑电数据。然后对脑电地形图进行分析，标记ERP特征，包括P300和P300‑D，分别对应目标出现与目标消失。构建正负样本对，基于对比表征学习的方法和时空间特征注意力提取的方法来获取类间的本质特征，解决视频范式中样本的极端类不平衡问题和两个相似类间的区分问题，使用circleloss进行反向传播，更新模型参数，使正样本对中两个样本的距离更近，而负样本对中两个样本的距离更远。最后使用训练好的模型判断视频流中是否出现目标，以及目标的出现与消失时间。

公开(公告)号：CN117272271A

公开(公告)日：2023-12-22

申请号：CN202311241568.8

申请日：2023-09-25

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  杨心宇 ,  金宣妤 ,  洪晨益

IPC: G06F21/32 ,  G06F3/01 ,  G06F18/15 ,  G06F18/2131 ,  G06F18/2415 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  G06N3/096

Abstract: 本发明公开基于傅立叶幅度特征泛化的跨时段脑电信号身份识别方法。采集视觉刺激下的多个时段脑电数据；提取脑电数据的傅立叶幅值；搭建教师网络和学生网络，对其进行训练；利用训练好的学生模型中基础神经网络B、分类器搭建域不变特征的脑电身份识别网络，并利用域不变特征的脑电身份识别网络实现脑电身份识别。本发明利用脑电信号的傅立叶幅值作为域不变特征，采用域泛化技术提取特征后获得更有判别力的特征。利用脑电信号的傅立叶幅度增强了模型对更加体现被试身份信息的特征的学习，抑制了模型对脑电信号中与身份信息无关的信息的学习，从而使脑电信号的身份识别具有更好的鲁棒性和普适性。

公开(公告)号：CN116451059A

公开(公告)日：2023-07-18

申请号：CN202310313394.5

申请日：2023-03-28

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  洪晨益 ,  朱莉 ,  张建海

IPC: G06F18/2131 ,  G06F18/2132 ,  G06F18/10 ,  G06F18/241 ,  G06F18/2415 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/048 ,  G06N3/084 ,  G06N3/0895 ,  G06F3/01

Abstract: 本发明公开了一种基于注意力机制的对比表征脑机视频目标检测方法。该方法使用了两个轻量级的卷积神经网络和一个多头注意力机制的卷积神经网络，对大脑的注意力信息进行解码分类，利用脑电通道与时间维度的注意力机制以及通过对比表征的方法解决类不平衡问题，具体在训练特征提取器的阶段，对时间和空间维度的特征提取上加入了注意力机制，可以显式的解耦出空间和时间上的信息，并且通过样本对内对比学习的方式解耦出两个类间的微弱的特征差异，在特征提取的后期阶段引入多头注意力机制以学习样本的多个特征来发现微弱细小特征差异。从而定位目标是否出现以及消失的时间，解决P300特征在长视频检测中衰弱以及正负样本的长尾分布问题。

公开(公告)号：CN118656779A

公开(公告)日：2024-09-17

申请号：CN202410708534.3

申请日：2024-06-03

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  莫凯麟 ,  洪晨益 ,  陈承瑞 ,  马龙杰 ,  何秉峰 ,  张建海 ,  杨子玥

IPC: G06F18/25 ,  A61B5/378 ,  A61B5/00 ,  A61B3/113 ,  G06F18/213 ,  G06F18/241 ,  G06F18/2415 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0895

Abstract: 本发明公开了一种基于注意力机制的双模态双向融合网络目标检测方法。该方法首先针对双模态数据分布进行特征提取以及样本对间的对比学习，然后在两个模态的特征层面采用一种相互指导的双向模态融合方法，运用注意力机制进行模态间的特征对齐融合，使脑电信号和眼动信号各自寻找对方与自身特征相耦合的特征，力求最大限度地保留模态内部的本质特征和挖掘模态间相关联的特征。最后使用融合后的特征进行分类预测。这种方法解决了两个模态由于时段不一致带来的不良影响，同时利用解耦对比学习方法消除类不平衡的影响，并捕获各个模态内部类别之间的特征差异，从而提高模型的目标检测性能。

公开(公告)号：CN118470300A

公开(公告)日：2024-08-09

申请号：CN202410568120.5

申请日：2024-05-09

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  马龙杰 ,  洪晨益 ,  陈承瑞 ,  莫凯麟 ,  何秉峰 ,  张建海

IPC: G06V10/25 ,  G06V20/40 ,  G06V10/80 ,  G06V10/44 ,  G06V10/82 ,  G06V10/771 ,  G06T7/246 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种基于脑眼融合的多模态视频流目标检测方法。该方法采集被试观看步复杂视频内容时的脑电数据与眼动数据，制作脑电正负样本对、眼动正负样本对，以及在通道维度拼接的脑电—眼动拼接样本。然后将正负样本对输入特征提取模型中，进行对比学习，训练模型参数。再将脑电样本、眼动样本以及拼接样本输入分类器中进行学习。最后将未知样本输入训练好的分类器中，并将预测为目标的对应样本眼动数据取出，根据注视点和注视时间绘制注视区域，生成热点图，获得目标的运动轨迹，实现目标检测。该方法利用多模态信息搜索同类别相似信息，实现了信息的互补，在较高的识别率下揭示了目标的移动轨迹，提高了识别的可靠性。