公开(公告)号：CN118015264A

公开(公告)日：2024-05-10

申请号：CN202311760160.1

申请日：2023-12-20

Applicant: 杭州电子科技大学

Inventor： 周文晖 ,  祝浩男 ,  向鑫 ,  张桦 ,  戴国骏

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于脑电信号的视觉目标语义定位图生成方法。本发明在脑电信号的指导下生成一个语义定位特征图，通过对脑电信号去提取原始的位置掩码特征，其中具有时序的特征，然后对脑电信号进行一个分类训练，我们得到精度更高的语义分类特征，我们对得到的图片语义分类特征生成一个嵌入，把提取的原始的位置掩码特征和从脑电信号中得到的语义分类特征进行特征融合放入生成模型进行集成，把这两个条件投射在生成模型中，进行训练以此达到通过脑电信号指导来实现生成语义图像，并且证明从脑电信号中可以提取图像中物体的定位信息，在生成图片时，图片物体在图片对应位置上的定位，对后续进行脑电信号指导图片重建有很强的指导作用。

公开(公告)号：CN116824656A

公开(公告)日：2023-09-29

申请号：CN202310062839.7

申请日：2023-01-16

Applicant: 杭州电子科技大学

Inventor： 周文晖 ,  豆孝龙 ,  祝浩男 ,  张桦 ,  戴国骏

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了基于双流VisionTransformer的微表情序列识别方法；首先获取连续时间内的多张微表情图像，对微表情序列图像进行预处理，得到预处理后的微表情序列图像和光流图像；通过TS‑ViT模块，获得每张光流图像和对应微表情图像的融合特征；再通过时间注意力机制模块学习连续帧的时空特征，然后进行特征融合得到新的特征向量序列；将新的特征向量序列输入到Bi‑LSTM学习微表情序列时间维度上的前向和后向的依赖关系，最后输出微表情识别结果。本发明解决了微表情数据集数据量偏少导致网络训练欠拟合的问题。