公开(公告)号：CN110839156A

公开(公告)日：2020-02-25

申请号：CN201911089718.1

申请日：2019-11-08

Applicant: 北京邮电大学

Inventor： 赵志诚 ,  苏菲 ,  杜丽

IPC: H04N19/149 ,  H04N19/30 ,  H04N19/533

Abstract: 本发明提出一种基于视频图像的未来帧预测方法及模型，属于图像模式识别领域。模型包括：记忆回溯模块、记忆精炼模块、特征融合模块以及图像预测模块；方法包括：步骤1、顺序读取视频帧序列，组成固定长度的视频段序列；步骤2、将视频段输入记忆回溯模块，记忆回溯模块对输入的视频段进行空时特征提取；步骤3、对提取的空时特征通过记忆精炼模块，抽象为更高层次的隐含特征；步骤4、将隐含特征与输入的视频段中的最后一帧基于二维神经网络的多通道进行特征融合，最终输出预测的图像帧。本发明通过FFSPRE模型验证了人脑预测未来空间特征的能力，通过实验进一步证明了存在有一个通用的预测机制，能够完成预测短时未来图像的任务。

公开(公告)号：CN113435234B

公开(公告)日：2024-01-23

申请号：CN202110019216.2

申请日：2021-03-25

Applicant: 北京邮电大学

Inventor： 赵志诚 ,  杜丽 ,  苏菲

IPC: G06F18/10 ,  G06F18/213 ,  G06F18/25 ,  A61B5/372 ,  A61B5/18

Abstract: 本发明提供了一种基于双模态视频EEG数据的驾驶员视觉显著性区域预测方法，所述方法包括：采集驾驶员在执行驾驶行为时的视觉注意力相关的脑电图(Electroencephalography,EEG)信号；对采集EEG信号进行预处理，搭建EEG注意力特征初始化框架，提取二维EEG注意力特征；提取视频图像中的低层特征；将提取的二维EEG注意力特征和提取的视频图像低层特征融合，得到双模态数据；基于双模态数据进行预测。本发明在不使用光流信息的条件下，仅分析视频图像的空间信息就得到了较好的驾驶员的视觉注意力信息(Focus field of driver's Attention，FoA)预测效果，本发明进一步完成了从EEG信号中有效提取车辆驾驶员的视觉注意力特征，并将其与视频图像特征相结合，共同完成目标任务。

公开(公告)号：CN113435234A

公开(公告)日：2021-09-24

申请号：CN202110019216.2

申请日：2021-03-25

Applicant: 北京邮电大学

Inventor： 赵志诚 ,  杜丽 ,  苏菲

IPC: G06K9/00 ,  G06K9/62 ,  A61B5/372 ,  A61B5/18

Abstract: 本发明提供了一种基于双模态视频EEG数据的驾驶员视觉显著性区域预测方法，所述方法包括：采集驾驶员在执行驾驶行为时的视觉注意力相关的脑电图(Electroencephalography,EEG)信号；对采集EEG信号进行预处理，搭建EEG注意力特征初始化框架，提取二维EEG注意力特征；提取视频图像中的低层特征；将提取的二维EEG注意力特征和提取的视频图像低层特征融合，得到双模态数据；基于双模态数据进行预测。本发明在不使用光流信息的条件下，仅分析视频图像的空间信息就得到了较好的驾驶员的视觉注意力信息(Focus field of driver's Attention，FoA)预测效果，本发明进一步完成了从EEG信号中有效提取车辆驾驶员的视觉注意力特征，并将其与视频图像特征相结合，共同完成目标任务。