公开(公告)号：CN117653145A

公开(公告)日：2024-03-08

申请号：CN202311664222.9

申请日：2023-12-06

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  陈承瑞 ,  朱佳斌 ,  唐佳佳 ,  朱莉

IPC: A61B5/372 ,  A61B5/00 ,  G06F18/10 ,  G06F18/213 ,  G06F18/24 ,  G06F18/22 ,  G06N3/092 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了基于对偶强化学习脑电数据相互生成的目标检测方法。该方法采集多个被试观看相同标签序列时的脑电信号数据。然后将任意两个被试进行配对，尝试互相生成脑电信号，基于对偶学习方法强化训练生成脑电信号的网络模型。然后将一对被试的脑电数据样本输入训练后的生成网络中，得到脑电数据对。针对每个被试的生成脑电数据与原始脑电数据进行相关性分析，选择其中相关性最高的生成脑电数据作为该被试最终的强化脑电数据。使用强化脑电数据与原始脑电数据一同训练检测模型，最后在测试阶段使用该检测模型针对单被试的脑电信号进行目标检测，以解决单一被试容易出现的走神、目标丢失，导致检测结果不佳的问题。

公开(公告)号：CN118656779A

公开(公告)日：2024-09-17

申请号：CN202410708534.3

申请日：2024-06-03

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  莫凯麟 ,  洪晨益 ,  陈承瑞 ,  马龙杰 ,  何秉峰 ,  张建海 ,  杨子玥

IPC: G06F18/25 ,  A61B5/378 ,  A61B5/00 ,  A61B3/113 ,  G06F18/213 ,  G06F18/241 ,  G06F18/2415 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0895

Abstract: 本发明公开了一种基于注意力机制的双模态双向融合网络目标检测方法。该方法首先针对双模态数据分布进行特征提取以及样本对间的对比学习，然后在两个模态的特征层面采用一种相互指导的双向模态融合方法，运用注意力机制进行模态间的特征对齐融合，使脑电信号和眼动信号各自寻找对方与自身特征相耦合的特征，力求最大限度地保留模态内部的本质特征和挖掘模态间相关联的特征。最后使用融合后的特征进行分类预测。这种方法解决了两个模态由于时段不一致带来的不良影响，同时利用解耦对比学习方法消除类不平衡的影响，并捕获各个模态内部类别之间的特征差异，从而提高模型的目标检测性能。

公开(公告)号：CN118470300A

公开(公告)日：2024-08-09

申请号：CN202410568120.5

申请日：2024-05-09

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  马龙杰 ,  洪晨益 ,  陈承瑞 ,  莫凯麟 ,  何秉峰 ,  张建海

IPC: G06V10/25 ,  G06V20/40 ,  G06V10/80 ,  G06V10/44 ,  G06V10/82 ,  G06V10/771 ,  G06T7/246 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种基于脑眼融合的多模态视频流目标检测方法。该方法采集被试观看步复杂视频内容时的脑电数据与眼动数据，制作脑电正负样本对、眼动正负样本对，以及在通道维度拼接的脑电—眼动拼接样本。然后将正负样本对输入特征提取模型中，进行对比学习，训练模型参数。再将脑电样本、眼动样本以及拼接样本输入分类器中进行学习。最后将未知样本输入训练好的分类器中，并将预测为目标的对应样本眼动数据取出，根据注视点和注视时间绘制注视区域，生成热点图，获得目标的运动轨迹，实现目标检测。该方法利用多模态信息搜索同类别相似信息，实现了信息的互补，在较高的识别率下揭示了目标的移动轨迹，提高了识别的可靠性。