公开(公告)号：CN114241455A

公开(公告)日：2022-03-25

申请号：CN202111564299.X

申请日：2021-12-20

Applicant: 东南大学

Inventor： 路小波 ,  陆明琦 ,  胡耀聪

IPC: G06V20/59 ,  G06V40/20 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06V10/774 ,  G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明公开了一种基于关键点增强的驾驶员动作分类方法，本发明提出了高效的频道注意力模块来生成具有区别性的全局表示。同时，利用姿态估计提取驾驶员的关键点特征。考虑关键点信息的多样性，设计了自适应加权残差瓶颈，使输入关键点特征的模型权值具有动态性。然后融合全局分支和关键点分支的输出作为分类结果。本发明可进一步提高驾驶员行为识别准确率，在交通安全领域有重要的应用价值。

公开(公告)号：CN114241454A

公开(公告)日：2022-03-25

申请号：CN202111564286.2

申请日：2021-12-20

Applicant: 东南大学

Inventor： 路小波 ,  陆明琦 ,  胡耀聪

IPC: G06V20/59 ,  G06V40/20 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06V10/774 ,  G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明公开了一种利用重映射注意力识别分心驾驶的方法，设计了多尺度注意力编码器以提取驾驶员图像的全局特征。由于姿势估计中的热图提供了身体部位的表达性非参数编码，通过对驾驶员部位热图和全局特征图进行哈达玛乘积，将部位信息投影到全局特征上，从而增强了驾驶员行为描述符的辨别力，为了提高鲁棒性和泛化能力，提出了部位注意力丢弃操作，即在训练过程中随机丢失某部位热图，以应对其不可见的情况。本发明引导模型着重于与驾驶员行为相关的部位，可进一步提高驾驶员行为识别准确率。本发明在交通安全领域有重要的应用价值。

公开(公告)号：CN110119709B

公开(公告)日：2021-11-05

申请号：CN201910391168.2

申请日：2019-05-11

Applicant: 东南大学

Inventor： 路小波 ,  陆明琦 ,  胡耀聪

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明设计了一种基于时空特性的驾驶员行为识别方法，涉及计算机视觉中的行为识别领域。本发明采用批标准化改进三维卷积网络，以提取视频帧中短时空行为特征，再利用卷积长短期记忆单元学习长时空上下文信息。然后将提取的驾驶员行为长时空行为信息输入空间金字塔池化层，得到多尺度的空间特征图。同时在实现特征分类的全连接层中融入dropout思想，提升网络模型的泛化能力。本发明所设计的网络可以高效地提取视频中驾驶员行为的时空特性，进一步提高驾驶员行为识别准确率。发明在交通安全领域有重要的应用价值。

公开(公告)号：CN110717389A

公开(公告)日：2020-01-21

申请号：CN201910824620.X

申请日：2019-09-02

Applicant: 东南大学

Inventor： 路小波 ,  胡耀聪 ,  陆明琦

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法，网络架构由3D条件生成对抗网络和双向长短期记忆网络组成，3D条件生成对抗网络用于从短期视频剪辑中提取疲劳相关特征，其中3D生成网络由一个编解码U-NET网络作为骨架网络，以疲劳相关标签作为条件，生成视频剪辑；3D判别网络将真实剪辑和合成剪辑作为输入，提取带有疲劳相关信息的短期时空特征表示。双向长短期记忆网络用于长期时空特征融合，捕捉帧间的上下文信息，并最终输出每帧的疲劳检测结果。对比目前现有的驾驶员疲劳检测方法，本发明泛化性强，识别准确率高，可用于监控视频下的实时驾驶员疲劳识别。发明在交通安全领域有重要的应用价值。

公开(公告)号：CN109063586A

公开(公告)日：2018-12-21

申请号：CN201810759174.4

申请日：2018-07-11

Applicant: 东南大学

Inventor： 路小波 ,  陆明琦

IPC: G06K9/00 ,  G06K9/62

CPC classification number: G06K9/00845 ,  G06K9/6256 ,  G06K9/6267

Abstract: 本发明提出一种基于候选优化的Faster R‑CNN驾驶员检测方法，涉及目标检测中的驾驶员检测领域。本发明以车载摄像头拍摄的RGB图像为数据源，在Faster R‑CNN目标检测算法的基础上作出改进：将残差结构引入特征提取ZF网络，设计ZF‑Res网络，以提高识别精度并保持实时性；针对以驾驶员为画面主体的RGB图像，提出候选优化子网络，过滤去冗余无效的候选区域，再进行后续的分类回归以完成驾驶员的定位检测。与现有技术相比，本发明大幅减少不包含或仅包含部分驾驶员的目标框，在保持驾驶员目标检测准确率的同时，提高检测效率。在监控识别驾驶员不良驾驶行为、预防交通事故方面有重要的应用价值。