-
公开(公告)号:CN117710480A
公开(公告)日:2024-03-15
申请号:CN202311529333.9
申请日:2023-11-16
Applicant: 东南大学
IPC: G06T7/80 , G06N3/0464 , G06N3/045 , G06N3/08 , G06V10/766 , G06V10/82 , G06V10/77
Abstract: 本发明公开了一种基于DenseNet和注意力机制的通用相机标定方法。该方法包括:首先,基于五种投影模型的数学结构相似性,构建了通用相机投影模型,该通用相机投影模型可以拟合多种投影模型。其次,搭建了相机标定网络模型,该标定网络模型可以从单张图像中学习通用相机投影模型所需的相机内参,不仅克服了传统相机标定方法中投影模型单一的限制,同时实现了智能化和实时性的相机标定,也解决了内外参耦合的问题。最后,设计了基于通用相机投影模型重投影误差的损失函数,该损失函数能有效地引导标定网络模型更准确地学习通用相机投影模型的内参。实验结果显示,本发明在标定精度上接近张正友标定法,同时无需标志物,并且具有更好的通用性。
-
公开(公告)号:CN116245714A
公开(公告)日:2023-06-09
申请号:CN202310154588.5
申请日:2023-02-23
Applicant: 东南大学
Abstract: 本发明公开了一种基于可变形注意力机制的全景图像拼接方法,将多视角图像送入主干网络后获得多尺度特征图;生成可学习的Bev Queries模型,随机生成栅格形的Bev Queries,Bev Queries的每个格子都代表了实际的物理尺寸和对应一个自车坐标系的三维坐标,通过注意力机制在多视角的多尺度图片中查询和聚合相关特征信息,经过转置卷积生成全景鸟瞰图;最后根据获得的Bev Queries模型进行模型训练,使用MS‑SSIM Loss来学习图形的结构,在MS‑SSIM Loss降低到设定阈值时,学习边缘特征和修正图像的颜色及去除图像噪声,获得全景图像。本发明不仅可以构建更加平滑和较少畸变和失真的全景鸟瞰图,同时对于在复杂环境中的相机内外参漂移具有较强的鲁棒性,具有较快的计算速度。
-
公开(公告)号:CN117611627A
公开(公告)日:2024-02-27
申请号:CN202311268996.X
申请日:2023-09-27
Applicant: 东南大学
IPC: G06T7/246 , G06T7/277 , G06N3/0442
Abstract: 本发明公开了一种基于无迹卡尔曼滤波和长短时记忆融合的多目标跟踪方法及系统,采用等转角速率和速度运动模型的无迹卡尔曼滤波方法对跟踪目标的状态向量进行目标运动状态估计,根据目标在上一帧的运动信息使用无迹卡尔曼滤波算法进行当前帧跟踪目标运动状态的预测,并在跟踪目标丢失时,使用长短期记忆神经网络进行预测和修正;同时,基于加权特征距离计算相似度,根据匈牙利算法对检测目标和跟踪目标进行两阶段数据关联,通过生命周期管理对匹配结果对应的检测和跟踪目标实现稳定的属性更新,实现多目标跟踪。本发明方法解决了复杂交通环境下的遮挡、拥堵等因素导致的漏跟踪、误跟踪、ID切换问题,并且实现了较快推理速度的多交通目标跟踪能力。
-
公开(公告)号:CN117422771A
公开(公告)日:2024-01-19
申请号:CN202311285348.5
申请日:2023-10-07
Applicant: 东南大学
Abstract: 本发明公开了一种相机与激光雷达传感器设备的外参标定方法及系统,首先,使用采集设备采集图像和点云数据,在激光雷达采集到的原始点云数据中进行路面提取,对提取到的路面点云数据采用体素补全的方式得到路面点云补全数据,并对补全后的点云数据的反射强度值进行直方图均衡化以增强车道标识和路面间反射强度的对比度;再将路面点云数据投影至像平面后与相机图像进行特征点匹配,利用求得的匹配特征点求解出初始外部参数;最后利用互信息值构建由外部参数中元素组成的目标函数,使用优化算法优化求得最佳的外部参数。本发明方法,在保证标定精度的同时具备可在线完成标定、流程简单、适应性强,满足自动驾驶系统中对外部参数的在线标定需求。
-
公开(公告)号:CN117173399A
公开(公告)日:2023-12-05
申请号:CN202311142851.5
申请日:2023-09-06
Applicant: 东南大学
IPC: G06V10/25 , G06V10/80 , G06V10/44 , G06N3/0464 , G06V10/766 , G06V10/82 , G06N3/08 , G06N3/045 , G06N3/0499 , G06N3/0985 , G06V10/764 , G06V10/77 , G06V10/22
Abstract: 本发明公开了一种跨模态交叉注意力机制的交通目标检测方法及系统,至少包括多模态特征深度融合的3D目标检测网络模型,所述模型包括跨模态数据增强模块、点云分支主干网络模块、图像分支主干网络模块、点云‑图像交叉注意力融合模块和检测任务处理模块,本方法及系统分别对点云分支主干网络和图像分支主干网络进行了细粒度特征提取,在点云分支中采用动态体素化和稀疏卷积的方式进一步提升了检测速度,在图像分支中通过跨层连接多层次特征使得图像特征具备了丰富的多尺度信息,该网络提升检测性能的同时,还可以面向遮挡场景和小尺度目标场景实现稳定的目标检测,有效降低了单一传感器感知目标的不准确性,实现了更加准确、鲁棒的检测性能。
-
公开(公告)号:CN117169861A
公开(公告)日:2023-12-05
申请号:CN202311141363.2
申请日:2023-09-06
Applicant: 东南大学
Abstract: 本发明公开了一种基于主动特征与移动中继的路侧多激光雷达配准方法,首先布置所有激光雷达位点与公共区域的主动几何特征形状标记,其次以多个激光雷达点云以及GPS时间戳数据作为输入,经过预处理后划定包含主动特征的待配准区域;再通过区域正态分布变换获取源点云与目标点云之间的粗配准参数,拟合两个待配准点云之间的主动几何特征空间表示方程,求解两个激光雷达坐标之间的强相关特征,即公共关键点;借助关键特征点对,基于最近点匹配算法应用奇异值分解求解两个激光雷达点位之间精确的位姿参数,从而对每个相邻的激光雷达点云重复相同的配准操作,获取相邻路侧点位的位姿变换参数,最终将整个隧道场景进行高精度全局坐标整合,精准度更高。
-
-
-
-
-