公开(公告)号：CN118411708A

公开(公告)日：2024-07-30

申请号：CN202410547825.9

申请日：2024-05-06

Applicant: 江淮前沿技术协同创新中心 ,  安徽大学

Inventor： 孙登第 ,  张学良 ,  赵海峰 ,  付燕平 ,  丁转莲 ,  焦均均

IPC: G06V20/58 ,  G06V20/40 ,  G06V10/56 ,  G06V10/62 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及一种基于路况场景感知与动态特征融合的驾驶员视角下交通违规行为识别方法，包括：输入256×256的RGB帧、光流帧视频信息以及对应的标签文本，使用预训练CLIP模型进行特征提取；经过动态特征融合处理；将多帧视频图像的视频图像特征向量进行融合；构建路况场景图，得到路况语义特征，再结合标签语义特征进行融合，得到场景文本特征向量；计算最终的视频图像特征向量和场景文本特征向量之间的相似度，根据相似度排序，得出交通违规行为识别结果。本发明能够同时捕捉视频的静态视觉信息和动态运动信息，提高了特征表达的丰富性和准确性；利用动态特征融合策略，增强了特征向量的代表性和鲁棒性；实现了对驾驶员视角下交通违规行为的精确识别。