-
公开(公告)号:CN113392584A
公开(公告)日:2021-09-14
申请号:CN202110637923.8
申请日:2021-06-08
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于深度强化学习和方向估计的视觉导航方法,包括步骤:1)生成AI2‑THOR仿真平台离线数据集;2)对离线数据集的RGB‑D图像,提取图像特征;3)构建A3C深度强化学习模型,并将步骤2)中的特征作为模型的输入,进行模型的训练;4)根据现实场景对步骤3)训练好的模型进行迁移,并对其进行微调,提升其泛化能力,最后将微调好的模型应用到该现实场景的视觉导航中。本发明使用三维几何方法,通过方向估计方法计算导航到目标物体的位置和方向,为深度强化学习模型提供方向特征,使模型能够更快收敛并且泛化能力更强,实现精准的视觉导航。
-
公开(公告)号:CN112379392A
公开(公告)日:2021-02-19
申请号:CN202011152907.1
申请日:2020-10-26
Applicant: 华南理工大学
IPC: G01S17/931 , G01S17/89
Abstract: 本发明公开了一种基于单线激光雷达通过隧道的无人车导航控制方法,包括:1)选用车载单线激光雷达对周围环境进行高频扫描,生成对应的局部二维激光点云图;2)通过累计概率霍夫线变换算法初步提取激光点云中拟合线段的点集合,即线段点集合;3)通过加权线段拟合算法来构建基于线段的二维激光地图;4)在隧道的场景下,通过对二维激光地图进一步的筛选,提取出拟合隧道两边的平行线段,计算两边平行线段的中心平行线,以在中心平行线上同时位于单线激光雷达前方固定距离的点,作为目标追踪点;5)利用pure pursuit算法对目标追踪点进行跟踪控制,便可顺利通过隧道。本发明仅使用单线激光雷达,不需要复杂的硬件设施,便可以安全通过隧道,简单可靠,稳定高效。
-
公开(公告)号:CN113392584B
公开(公告)日:2022-12-16
申请号:CN202110637923.8
申请日:2021-06-08
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于深度强化学习和方向估计的视觉导航方法,包括步骤:1)生成AI2‑THOR仿真平台离线数据集;2)对离线数据集的RGB‑D图像,提取图像特征;3)构建A3C深度强化学习模型,并将步骤2)中的特征作为模型的输入,进行模型的训练;4)根据现实场景对步骤3)训练好的模型进行迁移,并对其进行微调,提升其泛化能力,最后将微调好的模型应用到该现实场景的视觉导航中。本发明使用三维几何方法,通过方向估计方法计算导航到目标物体的位置和方向,为深度强化学习模型提供方向特征,使模型能够更快收敛并且泛化能力更强,实现精准的视觉导航。
-
公开(公告)号:CN111975769A
公开(公告)日:2020-11-24
申请号:CN202010685071.5
申请日:2020-07-16
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于元学习的移动机器人避障方法,包括:1)获取基础数据集,包括Udacity无人驾驶数据集和UZH碰撞分类数据集;2)制作避障数据集,包括对步骤1)所得基础数据集进行预处理及合并Udacity无人驾驶数据集和UZH碰撞分类数据集;3)基于DroNet模型预测步骤2)所得避障数据集的图像数据对应的驾驶角度或碰撞概率;4)基于元学习训练步骤3)的DroNet模型;5)在实际应用场景中采集少量图像数据,即小样本数据集,对步骤4)训练好的DroNet模型进行微调,提高模型在新场景下的性能,最后将微调好的DroNet模型应用于实际的避障场景。本发明能够在样本数据不足的条件下提高移动机器人避障的鲁棒性。
-
公开(公告)号:CN112379392B
公开(公告)日:2022-10-25
申请号:CN202011152907.1
申请日:2020-10-26
Applicant: 华南理工大学
IPC: G01S17/931 , G01S17/89
Abstract: 本发明公开了一种基于单线激光雷达通过隧道的无人车导航控制方法,包括:1)选用车载单线激光雷达对周围环境进行高频扫描,生成对应的局部二维激光点云图;2)通过累计概率霍夫线变换算法初步提取激光点云中拟合线段的点集合,即线段点集合;3)通过加权线段拟合算法来构建基于线段的二维激光地图;4)在隧道的场景下,通过对二维激光地图进一步的筛选,提取出拟合隧道两边的平行线段,计算两边平行线段的中心平行线,以在中心平行线上同时位于单线激光雷达前方固定距离的点,作为目标追踪点;5)利用pure pursuit算法对目标追踪点进行跟踪控制,便可顺利通过隧道。本发明仅使用单线激光雷达,不需要复杂的硬件设施,便可以安全通过隧道,简单可靠,稳定高效。
-
公开(公告)号:CN115082915A
公开(公告)日:2022-09-20
申请号:CN202210586122.8
申请日:2022-05-27
Applicant: 华南理工大学
IPC: G06V20/62 , G06N3/04 , G06N3/08 , G06V10/75 , G06V10/764 , G06V10/774
Abstract: 本发明公开了一种基于多模态特征的移动机器人视觉‑语言导航方法,包括:1)对输入的自然语言指令进行编码,得到语言特征向量和初始的状态特征向量;2)对于当前时刻的输入图像进行编码,得到视觉特征向量;3)根据机器人的历史动作编码得到历史特征向量;4)对步骤1)到步骤3)得到的多种模态的特征向量进行跨模态编码;5)将跨模态编码结果输入到动作决策模块,预测下一步动作并执行;6)重复步骤2)到步骤5)直到机器人停止移动,然后更新模型。本发明提供物体参考信息和历史导航信息,能让机器人根据自然语言指令进行视觉导航,实验表明所提出方法具有优秀的性能。
-
公开(公告)号:CN115082915B
公开(公告)日:2024-03-29
申请号:CN202210586122.8
申请日:2022-05-27
Applicant: 华南理工大学
IPC: G06V20/62 , G06N3/0464 , G06N3/08 , G06V10/75 , G06V10/764 , G06V10/774
Abstract: 本发明公开了一种基于多模态特征的移动机器人视觉‑语言导航方法,包括:1)对输入的自然语言指令进行编码,得到语言特征向量和初始的状态特征向量;2)对于当前时刻的输入图像进行编码,得到视觉特征向量;3)根据机器人的历史动作编码得到历史特征向量;4)对步骤1)到步骤3)得到的多种模态的特征向量进行跨模态编码;5)将跨模态编码结果输入到动作决策模块,预测下一步动作并执行;6)重复步骤2)到步骤5)直到机器人停止移动,然后更新模型。本发明提供物体参考信息和历史导航信息,能让机器人根据自然语言指令进行视觉导航,实验表明所提出方法具有优秀的性能。
-
公开(公告)号:CN106525460B
公开(公告)日:2019-01-29
申请号:CN201611221194.3
申请日:2016-12-26
Applicant: 华南理工大学
IPC: G01M17/007
Abstract: 本发明提供了一种可移动轴心的自行车的性能检测台,包括由底架和龙门框架构成的检测台架,检测台架的底架上装有由单片机操纵系统控制的电动机,以及由电动机及皮带驱动、由装在轴承座前、后滚筒上的跑带和前、后滚筒之间的两组托锟组构成的自行车行进装置;于龙门框架的上下横梁上设有三组导向立柱,前、后两组导向立柱通过立柱上的滑动座各自连接一固定于自行车把手和后轮车架的把定支架,中、后两组导向立柱通过立柱上的滑动座连接一能加装载重箱的负载夹持架;龙门框架前端的横梁上设有由单片机操纵系统控制的自动转换开关。本发明能够模拟不同体重的人骑自行车,进行可移动轴心的自行车和相关自行车的性能检测,省去人工骑车检测的步骤,改善了工作条件。
-
公开(公告)号:CN106525460A
公开(公告)日:2017-03-22
申请号:CN201611221194.3
申请日:2016-12-26
Applicant: 华南理工大学
IPC: G01M17/007
CPC classification number: G01M17/007
Abstract: 本发明提供了一种可移动轴心的自行车的性能检测台,包括由底架和龙门框架构成的检测台架,检测台架的底架上装有由单片机操纵系统控制的电动机,以及由电动机及皮带驱动、由装在轴承座前、后滚筒上的跑带和前、后滚筒之间的两组托锟组构成的自行车行进装置;于龙门框架的上下横梁上设有三组导向立柱,前、后两组导向立柱通过立柱上的滑动座各自连接一固定于自行车把手和后轮车架的把定支架,中、后两组导向立柱通过立柱上的滑动座连接一能加装载重箱的负载夹持架;龙门框架前端的横梁上设有由单片机操纵系统控制的自动转换开关。本发明能够模拟不同体重的人骑自行车,进行可移动轴心的自行车和相关自行车的性能检测,省去人工骑车检测的步骤,改善了工作条件。
-
公开(公告)号:CN206417492U
公开(公告)日:2017-08-18
申请号:CN201621271602.1
申请日:2016-11-25
Applicant: 华南理工大学
IPC: B65G15/64
Abstract: 本实用新型公开了一种传送带的自动纠偏装置,包括对称安装在传送带两侧下方的一对底座,两侧的底座各设有两条导轨,两条导轨的滑座上通过各自安装的支撑杆连接一块架板,架板的内侧通过安装的一对轴承座和转轴连接固定一个光面导向轮;架板的外侧经两个连接架铰接两根摇杆,两根摇杆的另一端经连接架连接一根水平摆杆,水平摆杆外侧固定的两块纵向滑块分别与底座上安装的两个纵向导向柱滑动连接;一对底座上的两个水平摆杆中间通孔中固定的辊轴经联轴节与传送带摩擦滚筒两端的滚筒轴杆连接;传送带的上传送带段处于两光面导向轮中间的位置,传送带的下传送带段内表面与传送带摩擦滚筒相切。本实用新型能够使跑偏的传送带移回到中间位置,实现自动纠偏。
-
-
-
-
-
-
-
-
-