一种基于自监督一致性学习的交通事件检测系统及方法

    公开(公告)号:CN118762338A

    公开(公告)日:2024-10-11

    申请号:CN202410910222.0

    申请日:2024-07-09

    Abstract: 本发明提出了一种基于自监督一致性学习的交通事件检测系统及方法。所述方法包括获取交通场景下多个连续时隙的视频帧;通过对多个相邻时隙的视频帧进行光流计算,得到多个光流图像帧;将视频帧与光流图像帧进行预测处理,得到目标时隙的预测视频帧;通过对视频帧进行对象检测追踪,得到交通对象边界框;对交通对象边界框进行预测处理,得到目标时隙的交通对象预测框;通过对视频帧进行上下文检测,得到交通场景的上下文信息;将目标时隙的交通对象预测框、目标时隙的预测视频帧、交通场景的上下文信息输入到一致性学习训练后的交通事件检测网络中,得到目标时隙的交通事件检测结果。本发明无需大量标注数据,提高了交通事件检测的适应性和鲁棒性。

    融合大模型的多模态行人指挥手势识别方法

    公开(公告)号:CN119360447A

    公开(公告)日:2025-01-24

    申请号:CN202411492294.4

    申请日:2024-10-24

    Abstract: 本发明涉及一种融合大模型的多模态行人指挥手势识别方法,属于自动驾驶领域。其包括:收集行人数据集,并进行数据集划分;采用预训练的行人检测模型从数据集中提取人体关键点;通过目标追踪网络对提取的人体关键点信息进行处理,得到动态的关键点轨迹信息;建立用于识别手势的多模态动作识别模型,其至少包括骨架编码器和文本编码器;多部分对比学习损失训练优化多模态手势识别模型,得到识别结果。将训练好的模型安装至自动驾驶汽车上,对行人手势进行区分,准确判断行人的意图。本发明方法采用多模态框架,识别精度高、识别速度快。

Patent Agency Ranking