-
公开(公告)号:CN110910349A
公开(公告)日:2020-03-24
申请号:CN201911013435.9
申请日:2019-10-23
Applicant: 南通大学
Abstract: 本发明于计算机视觉和机器学习领域,涉及一种基于航拍视觉的风电机组状态获取方法,采用无人机航拍对处于风力发电厂中工作的风电机组进行图像采集,对风电机组图像进行目标对象增强以及降噪处理,将数据集制作成带有目标标签的数据集,基于改进的SSD网络模型进行本地化训练,然后对航拍视频进行识别定位跟踪检测,获得带标签的目标边界框,并截取边界框以内的图像内容,识别并拟合桨叶、立柱的边缘直线,通过检测桨叶与立柱重合时刻计算风电机组运行速度,使用帧差法以及关键参考点位置关系,判定风电机组相对无人机的6种位置关系。本发明提供的方法可以基于航拍视频自动识别风电机组的缺损情况、转速信息、朝向信息等运行状态。
-
公开(公告)号:CN112489128A
公开(公告)日:2021-03-12
申请号:CN202011472136.4
申请日:2020-12-14
Applicant: 南通大学
Abstract: 本发明公开了一种基于无监督深度学习的RGB‑D室内无人机定位实现方法,该方法包括以下步骤:1)获取RGB‑D数据集;2)搭建CNN网络,通过基于RGB‑D流和深度流的双流结构,提取RGB图像和深度图像的特征;3)搭建RNN网络,将CNN输出的特征作为RNN的输入,辅以LSTM替换标准RNN结构,基于图像的特征输出相机的位姿;4)设计2D+3D损失函数,用于RCNN网络训练。本发明受益于无监督的网络,不需要大量的人工去标记数据集,并将深度图像作为神经网络的输入,大大提高了视觉里程计系统的精度和鲁棒性,提高了室内无人机的定位的速度与精度。相较于传统的室内无人机视觉里程计定位系统,本发明基于深度学习的框架,能够充分利用硬件资源,从而实现提高室内无人机定位系统实时性。
-
公开(公告)号:CN111161334A
公开(公告)日:2020-05-15
申请号:CN201911410382.4
申请日:2019-12-31
Applicant: 南通大学
Abstract: 本发明涉及一种基于深度学习的语义地图构建方法,包括:实时采集移动机器人周围环境的图像信息,并根据所述图像信息获取移动机器人的位姿信息;根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息,并根据所述深度信息构建障碍物深度地图,所述深度信息为逆深度估计值;用训练好的目标检测模型对所述图像信息进行特征提取与处理,得到带有语义信息的图像信息,将所述带有语义信息的图像信息与所述障碍物深度地图进行融合,得到障碍物语义地图;利用闭环检测算法优化机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化,实现带有语义信息的深度地图构建,提高机器人的环境感知与自主定位能力。
-
-
公开(公告)号:CN110910349B
公开(公告)日:2023-04-07
申请号:CN201911013435.9
申请日:2019-10-23
Applicant: 南通大学
IPC: G06T7/00 , G06T7/246 , G06T7/73 , G06V20/10 , G06V10/764
Abstract: 本发明于计算机视觉和机器学习领域,涉及一种基于航拍视觉的风电机组状态获取方法,采用无人机航拍对处于风力发电厂中工作的风电机组进行图像采集,对风电机组图像进行目标对象增强以及降噪处理,将数据集制作成带有目标标签的数据集,基于改进的SSD网络模型进行本地化训练,然后对航拍视频进行识别定位跟踪检测,获得带标签的目标边界框,并截取边界框以内的图像内容,识别并拟合桨叶、立柱的边缘直线,通过检测桨叶与立柱重合时刻计算风电机组运行速度,使用帧差法以及关键参考点位置关系,判定风电机组相对无人机的6种位置关系。本发明提供的方法可以基于航拍视频自动识别风电机组的缺损情况、转速信息、朝向信息等运行状态。
-
公开(公告)号:CN111161334B
公开(公告)日:2023-06-02
申请号:CN201911410382.4
申请日:2019-12-31
Applicant: 南通大学
Abstract: 本发明涉及一种基于深度学习的语义地图构建方法,包括:实时采集移动机器人周围环境的图像信息,并根据所述图像信息获取移动机器人的位姿信息;根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息,并根据所述深度信息构建障碍物深度地图,所述深度信息为逆深度估计值;用训练好的目标检测模型对所述图像信息进行特征提取与处理,得到带有语义信息的图像信息,将所述带有语义信息的图像信息与所述障碍物深度地图进行融合,得到障碍物语义地图;利用闭环检测算法优化机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化,实现带有语义信息的深度地图构建,提高机器人的环境感知与自主定位能力。
-
-
公开(公告)号:CN110534177A
公开(公告)日:2019-12-03
申请号:CN201910747492.3
申请日:2019-08-14
Applicant: 南通大学
Abstract: 本发明公开了一种基于指纹识别的三明治制售一体化系统,包括:指纹识别模块,用于采集用户指纹信息;后台管理模块,用于接受用户指纹信息,调取用户健康信息,根据用户健康信息确定个性化三明治制备参数信息;触摸显示模块,用于显示个性化三明治的种类和对应的价格信息供用户选择以及用于用户根据自己的口味偏好选择三明治种类并进行购买确认;三明治制售一体机,用于根据三明治制备参数和用户确认的个性化三明治种类制备个性化三明治。本发明还相应地公开了一种基于指纹识别的三明治制售一体化方法。本发明提供的系统和方法仅需对用户指纹进行识别,便可为用户提供适合用户的营养三明治,方便、快捷,且可满足用户的个性化需求。
-
-
-
-
-
-
-