公开(公告)号：CN118470484B

公开(公告)日：2024-11-26

申请号：CN202410672169.5

申请日：2024-05-28

Applicant: 济南大学

Inventor： 杨晓晖 ,  乔禹 ,  陈贞翔

IPC: G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06V20/70 ,  G06V40/18 ,  G06V10/764 ,  G06N3/0499 ,  G06N5/04 ,  G08G1/01

Abstract: 本发明属于计算机视觉领域，提供了一种基于眼动注意力引导的空间通道自适应事故预测方法及系统，包括获取行车记录仪图像，利用训练好的骨干网络进行特征提取，得到行车记录仪空间通道特征图；利用骨干网络不同尺度的的残差块输出生成不同尺度的补丁，将不同尺度的补丁进行拼接后得到多尺度多视图特征；基于自定义初始历史时序特征图，经过时间自注意力模块、空间交叉注意力模块以及前馈神经网络提取时间特征，得到当前时序特征图，其中空间交叉注意力模块将多尺度多视图特征作为输入以提取空间信息，将当前时序特征图作为下一时间戳的历史时序特征图进行递归提取；将当前时序特征图与行车记录仪空间通道特征图进行融合分类，得到事故预测结果。

公开(公告)号：CN118470484A

公开(公告)日：2024-08-09

申请号：CN202410672169.5

申请日：2024-05-28

Applicant: 济南大学

Inventor： 杨晓晖 ,  乔禹 ,  陈贞翔

IPC: G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06V20/70 ,  G06V40/18 ,  G06V10/764 ,  G06N3/0499 ,  G06N5/04 ,  G08G1/01

Abstract: 本发明属于计算机视觉领域，提供了一种基于眼动注意力引导的空间通道自适应事故预测方法及系统，包括获取行车记录仪图像，利用训练好的骨干网络进行特征提取，得到行车记录仪空间通道特征图；利用骨干网络不同尺度的的残差块输出生成不同尺度的补丁，将不同尺度的补丁进行拼接后得到多尺度多视图特征；基于自定义初始历史时序特征图，经过时间自注意力模块、空间交叉注意力模块以及前馈神经网络提取时间特征，得到当前时序特征图，其中空间交叉注意力模块将多尺度多视图特征作为输入以提取空间信息，将当前时序特征图作为下一时间戳的历史时序特征图进行递归提取；将当前时序特征图与行车记录仪空间通道特征图进行融合分类，得到事故预测结果。

公开(公告)号：CN117257308A

公开(公告)日：2023-12-22

申请号：CN202311422803.1

申请日：2023-10-30

Applicant: 济南大学

Inventor： 杨晓晖 ,  乔禹 ,  司统振 ,  徐涛 ,  郭庆北

IPC: A61B5/18 ,  G06V20/59 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/094 ,  G06N3/0464 ,  G06F18/213 ,  G06F18/25 ,  G06F18/24

Abstract: 本发明属于计算机视觉领域，尤其涉及一种基于驾驶员眼动信息的驾驶员认知分心检测方法及系统，方法包括：获取驾驶员驾驶过程中的驾驶环境图像和驾驶员的眼动信息；对驾驶员的眼动信息进行预处理得到眼动注意力热图；基于多尺度融合对抗网络对当前帧的眼动注意力热图和驾驶环境图像进行多尺度特征提取以及多尺度特征融合后，得到当前帧的第一分类标签；将当前帧的多视图多尺度特征输入至时空融合网络中得到当前帧的第二分类标签；将当前帧的第一分类标签和第二分类标签进行加权融合后得到最终的驾驶员认知分心检测结果。本发明基于深度学习的激活与反向激活融合对抗网络对驾驶环境图像和眼动注意力热图进行特征融合，提高识别精度。