一种基于深度学习的语义地图构建方法

    公开(公告)号:CN111161334A

    公开(公告)日:2020-05-15

    申请号:CN201911410382.4

    申请日:2019-12-31

    Applicant: 南通大学

    Abstract: 本发明涉及一种基于深度学习的语义地图构建方法,包括:实时采集移动机器人周围环境的图像信息,并根据所述图像信息获取移动机器人的位姿信息;根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息,并根据所述深度信息构建障碍物深度地图,所述深度信息为逆深度估计值;用训练好的目标检测模型对所述图像信息进行特征提取与处理,得到带有语义信息的图像信息,将所述带有语义信息的图像信息与所述障碍物深度地图进行融合,得到障碍物语义地图;利用闭环检测算法优化机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化,实现带有语义信息的深度地图构建,提高机器人的环境感知与自主定位能力。

    一种基于航拍视觉的风电机组状态获取方法

    公开(公告)号:CN110910349A

    公开(公告)日:2020-03-24

    申请号:CN201911013435.9

    申请日:2019-10-23

    Applicant: 南通大学

    Abstract: 本发明于计算机视觉和机器学习领域,涉及一种基于航拍视觉的风电机组状态获取方法,采用无人机航拍对处于风力发电厂中工作的风电机组进行图像采集,对风电机组图像进行目标对象增强以及降噪处理,将数据集制作成带有目标标签的数据集,基于改进的SSD网络模型进行本地化训练,然后对航拍视频进行识别定位跟踪检测,获得带标签的目标边界框,并截取边界框以内的图像内容,识别并拟合桨叶、立柱的边缘直线,通过检测桨叶与立柱重合时刻计算风电机组运行速度,使用帧差法以及关键参考点位置关系,判定风电机组相对无人机的6种位置关系。本发明提供的方法可以基于航拍视频自动识别风电机组的缺损情况、转速信息、朝向信息等运行状态。

    一种基于视觉路标的室内移动机器人定位方法

    公开(公告)号:CN107832661B

    公开(公告)日:2019-06-14

    申请号:CN201710887670.3

    申请日:2017-09-27

    Applicant: 南通大学

    Abstract: 本发明公开了一种基于视觉路标的室内移动机器人定位方法,先对拍摄到的视觉路标图像做二值化,腐蚀膨胀,图像增强处理,然后进行中值滤波处理;通过canny边缘检测算法,将路标轮廓提取出来进行路标与背景的分割;通过Hough变换算法和透视变换算法,对提取出来的路标进行旋转和倾斜矫正;通过基于最小二乘法的椭圆拟合算法,检测出路标内部3个圆环的外轮廓线,利用检测到的圆环外轮廓线将3个圆环分别分割出来;通过随机Hough变换算法分别检测每个圆环中的圆弧,然后利用圆弧的半径和弦长信息计算圆弧对应的圆心角;利用所获得的路标位置信息和摄像头自身的参数信息,计算得到室内机器人自身的位置。本发明具有成本低、扩展性强的优点。

    一种基于深度学习的语义地图构建方法

    公开(公告)号:CN111161334B

    公开(公告)日:2023-06-02

    申请号:CN201911410382.4

    申请日:2019-12-31

    Applicant: 南通大学

    Abstract: 本发明涉及一种基于深度学习的语义地图构建方法,包括:实时采集移动机器人周围环境的图像信息,并根据所述图像信息获取移动机器人的位姿信息;根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息,并根据所述深度信息构建障碍物深度地图,所述深度信息为逆深度估计值;用训练好的目标检测模型对所述图像信息进行特征提取与处理,得到带有语义信息的图像信息,将所述带有语义信息的图像信息与所述障碍物深度地图进行融合,得到障碍物语义地图;利用闭环检测算法优化机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化,实现带有语义信息的深度地图构建,提高机器人的环境感知与自主定位能力。

    一种基于视觉路标的室内移动机器人定位方法

    公开(公告)号:CN107832661A

    公开(公告)日:2018-03-23

    申请号:CN201710887670.3

    申请日:2017-09-27

    Applicant: 南通大学

    Abstract: 本发明公开了一种基于视觉路标的室内移动机器人定位方法,先对拍摄到的视觉路标图像做二值化,腐蚀膨胀,图像增强处理,然后进行中值滤波处理;通过canny边缘检测算法,将路标轮廓提取出来进行路标与背景的分割;通过Hough变换算法和透视变换算法,对提取出来的路标进行旋转和倾斜矫正;通过基于最小二乘法的椭圆拟合算法,检测出路标内部3个圆环的外轮廓线,利用检测到的圆环外轮廓线将3个圆环分别分割出来;通过随机Hough变换算法分别检测每个圆环中的圆弧,然后利用圆弧的半径和弦长信息计算圆弧对应的圆心角;利用所获得的路标位置信息和摄像头自身的参数信息,计算得到室内机器人自身的位置。本发明具有成本低、扩展性强的优点。

    一种基于航拍视觉的风电机组状态获取方法

    公开(公告)号:CN110910349B

    公开(公告)日:2023-04-07

    申请号:CN201911013435.9

    申请日:2019-10-23

    Applicant: 南通大学

    Abstract: 本发明于计算机视觉和机器学习领域,涉及一种基于航拍视觉的风电机组状态获取方法,采用无人机航拍对处于风力发电厂中工作的风电机组进行图像采集,对风电机组图像进行目标对象增强以及降噪处理,将数据集制作成带有目标标签的数据集,基于改进的SSD网络模型进行本地化训练,然后对航拍视频进行识别定位跟踪检测,获得带标签的目标边界框,并截取边界框以内的图像内容,识别并拟合桨叶、立柱的边缘直线,通过检测桨叶与立柱重合时刻计算风电机组运行速度,使用帧差法以及关键参考点位置关系,判定风电机组相对无人机的6种位置关系。本发明提供的方法可以基于航拍视频自动识别风电机组的缺损情况、转速信息、朝向信息等运行状态。

    运动视场下的单目视觉定位方法

    公开(公告)号:CN109855602A

    公开(公告)日:2019-06-07

    申请号:CN201910030208.0

    申请日:2019-01-14

    Applicant: 南通大学

    Abstract: 本发明公开了一种在运动视场下的单目视觉定位方法,首先对摄像机进行相机标定,得到相机内参数和畸变参数并对图像进行畸变矫正,然后利用摄像机来检测并识别已设计的视觉路标,从而获取路标位置信息,通过在三维定位模型中引入路标坐标系,通过坐标变换确定摄像机相对于路标的位置,最后利用路标在摄像机坐标系下的坐标和世界坐标形成两个定位矢量,通过定位矢量向量积得到两个坐标系的旋转和平移关系,从而得到摄像机的世界坐标,即移动机器人的位置。本发明弥补了单目视觉的距离信息缺失的不足,实现了在摄像机随着移动机器人运动形成的运动视场环境下,仅依靠一个摄像机进行移动机器人自定位。

Patent Agency Ranking