公开(公告)号：CN114491122B

公开(公告)日：2023-07-14

申请号：CN202111634430.5

申请日：2021-12-29

Applicant: 广东工业大学

Inventor： 杨益枘 ,  林旭滨 ,  何力 ,  管贻生 ,  张宏

IPC: G06F16/583 ,  G06V10/74 ,  G06V10/75 ,  G06V10/774 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种用于同类图像检索的图匹配方法，主要包括离线数据集构建和在线深度学习训练两个阶段：阶段一包括选取Pascal VOC数据集作为训练的数据集；选取若干张带有注释点且覆盖数据集所有种类的图像作为训练集。阶段二包括：采用预训练好的VGG‑16神经网络作为特征提取器；每张图像经过全连接的德劳内三角剖分技术生成双向边的拓扑结构；完成拓扑几何信息的点特征嵌入之后，以点‑边关联矩阵为基础进行边的特征描述；根据各自图的边特征描述向量，可以构建出边与边的相似度矩阵；经过上述步骤，能够得到最终的点特征和，然后计算点‑点匹配的相似度矩阵。本方案还具有检索性能高、效率高、容易实施的优点。

公开(公告)号：CN116380035A

公开(公告)日：2023-07-04

申请号：CN202211096655.4

申请日：2022-09-08

Applicant: 广东工业大学

Inventor： 管贻生 ,  周瑞浩 ,  何力 ,  陈炜楠 ,  张宏

IPC: G01C21/00

Abstract: 本发明提供一种基于SLAM的位姿估计方法和系统，该方法首先建立初始点云描述符数据库；之后获取移动机器人周围环境的三维激光点云数据；之后对三维激光点云数据进行点云分割和特征提取，获取描述符搜索键，该方法通过将搜索得到的点云描述符与正态分布点云描述符进行相似性匹配，并根据相似性匹配结果来不断优化基于SLAM生成的周围环境地图，有效改善了周围环境地图漂移现象，显著提高了移动机器人位姿估计抗噪性能；除此之外，通过建立点云描述符数据库，能够使得SLAM在极端环境下也能够正确识别场景并构建出精确的地图，从而更优地修正激光雷达里程计漂移带来的累计误差，建图精度也有所提高。

公开(公告)号：CN109919969A

公开(公告)日：2019-06-21

申请号：CN201910057143.9

申请日：2019-01-22

Applicant: 广东工业大学

Inventor： 张宏 ,  陈炜楠 ,  朱蕾 ,  何力 ,  管贻生

IPC: G06T7/215 ,  G06T7/11 ,  G06N3/04

Abstract: 本发明公开了一种利用深度卷积神经网络实现视觉运动控制的方法，只需要单目相机获取移动平台的当前图像，以及只需要对当前获取的单帧图像进行分析，便可得到当前视角下的合理运动控制规划。不需要通过多帧图像的多图像关联得到移动平台的定位信息，同时也不需要进行特征点数据匹配以及平面映射。另外，与已有的基于神经网络的视觉运控方案不同，本发明不需要进行路标识别以及特征点提取。再者，本发明利用深度神经网络具有语义分割的能力，对当前获取图像进行语义分割。并直接将该分割结果用以运动目标点规划，从单帧图像输入到运动控制目标点的规划，整个过程无需人为先验知识的输入。本发明具有成本低、运控简单快捷等优点。

公开(公告)号：CN112580438B

公开(公告)日：2024-12-20

申请号：CN202011351977.X

申请日：2020-11-26

Applicant: 广东工业大学

Inventor： 管贻生 ,  朱蕾 ,  陈炜楠 ,  何力 ,  张宏

IPC: G06V20/64 ,  G06V10/26 ,  G06V10/82 ,  G06T7/60

Abstract: 本发明公开了一种三维场景下的点云识别方法，以激光雷达扫描仪获取的原始点云数据作为输入，利用点云的局部几何曲率变化特征，对点云曲率变化明显的部分进行针对性的分类采样处理，进而将点云划分为语义级别上有意义的部分，并将采样得到的特征点标记为预定义的对象类别，从而识别点云环境中不同的物体。本发明利于提高三维点云的分割精度，驱动移动机器人在三维点云场景中更有效地识别不同的物体。

公开(公告)号：CN113506346B

公开(公告)日：2023-08-29

申请号：CN202110763412.0

申请日：2021-07-06

Applicant: 广东工业大学

Inventor： 朱蕾 ,  周松鑫 ,  管贻生 ,  杨蕊银 ,  何力

IPC: G06T7/77 ,  G06T7/80 ,  G06V10/74 ,  G06V10/762 ,  G01C21/16

Abstract: 本发明公开了一种应用于弱纹理大旋转场景下的相机的位姿求解方法，利用传统的SPF方法从偏振图像中恢复出带有模糊性的法线信息，对得到的法线聚类分割出不同的法线平面块，从中提取满足高斯分布的随机像素点若干，并在图像间对像素点追踪，实现图像间的平面匹配，再对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后即可得到平面块的平均法线值，同时对图像间的I MU数据预计分，两图像对应的平面块的平均法线值联合由I MU得到的相对姿态实现法线模糊性的去除，再结合线性优化理论从平均法线对中求解出相机姿态。本发明能解决视觉方法短板，拓展视觉算法的适用范围，在弱纹理大旋转等极端场景下依然能估计相机姿态。

公开(公告)号：CN112232126B

公开(公告)日：2023-08-25

申请号：CN202010960762.1

申请日：2020-09-14

Applicant: 广东工业大学

Inventor： 朱蕾 ,  陈炜楠 ,  管贻生 ,  何力 ,  张宏

IPC: G06V20/56 ,  G06V10/774 ,  G06N3/0464 ,  G06V10/82 ,  G06F17/16

Abstract: 本发明公开了一种提高多变场景定位鲁棒性的降维表达方法，包括：在自动驾驶汽车实际行驶的空间环境中，将自动驾驶汽车的运动模型设定为平面运动；利用图像分类神经网络，将自动驾驶汽车采集的当前路况图像作为输入，以图像的语义分析结果作为输出，对平面运动进行运动降维，得到降维后的平面运动形式表达；使用当前路况图像和上一帧路况图像作为图像对，利用图相对进行平面运动假设评估，得到平面运动假设检验结果；基于所述平面运动形式表达以及平面运动假设检验结果，确定进行姿态优化求解的形式，并建立代价函数求解自动驾驶汽车的姿态。本发明从后端优化的收敛表现入手，提高系统收敛能力，进而降低对神经网络错误预测结果的敏感程度。

公开(公告)号：CN110390336B

公开(公告)日：2023-05-23

申请号：CN201910485720.4

申请日：2019-06-05

Applicant: 广东工业大学

Inventor： 张宏 ,  代壮 ,  朱蕾 ,  陈炜楠 ,  何力 ,  管贻生

IPC: G06V10/46 ,  G06V10/75 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048

Abstract: 本发明公开了一种提高特征点匹配精度的方法，包括下述步骤：(1)通过SIFT检测出图像中的特征点；(2)提取特征点64*64领域的图像块；(3)分别计算该图像块的训练卷积描述符和预训练卷积描述符；(4)将预训练描述符通过一个编码器进行降维；(5)采用典型相关分析融合卷积描述符和降维后的预训练描述符；本发明将光照和视角变化采用两种描述符分别表示，可以有效降低特征点匹配的难度；采用典型相关分析方法来融合两种类型，可以有效提取两类描述符之间的互补信息，提高融合后描述符对光照和视角变化的鲁棒性；描述符融合系统是一个可升级系统，以后随着不同类型的描述符被提出，都可以应用到本系统中。

公开(公告)号：CN111639638B

公开(公告)日：2023-04-18

申请号：CN202010479288.0

申请日：2020-05-29

Applicant: 佛山市南海区广工大数控装备协同创新研究院 ,  广东工业大学

Inventor： 张宏 ,  陈广诚 ,  何力 ,  管贻生 ,  蔡传武

IPC: G06V10/145 ,  G06V10/75 ,  G06T5/40

Abstract: 本发明的目的在于提供一种识别透明平板的系统，包括偏振相机模组、反射抑制算法模块、相似性度量算法模块、识别模组。本发明还公开了一种识别透明平板的方法，包括以下步骤：光线的摄入，采用偏振相机对透明平板的光线进行摄入；将偏振相机拍摄的偏振图像导入计算机中，通过反射抑制算法判断偏振图像的亮度情况；将反射抑制算法输出的图像，在计算机中进行相似性度量算法；根据相似性度量算法的结果，判断是否存在透明平板。本发明通过计算机的反射抑制算法和相似性度量算法可以在室内快速的判断出指定区域是否存在透明平板的区域，不需要过于复杂的硬件设备，方便快捷。

公开(公告)号：CN113034695B

公开(公告)日：2022-11-22

申请号：CN202110413413.2

申请日：2021-04-16

Applicant: 广东工业大学

Inventor： 林旭滨 ,  何力 ,  杨益枘 ,  管贻生 ,  张宏

IPC: G06T17/20 ,  G06T19/20 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种基于Wasserstein距离的物体包络体多视图重建与优化方法，基于几何代价函数的定义上利用了2D矩形/椭圆与高斯分布的一一对应性质，对图像提取的2D矩形/椭圆特征和包络体在视图的投影轮廓分别进行参数提取，并构建与之对应的二维高斯分布，接着将几何图像的相似性度量问题转化成概率分布函数的相似性度量问题，引入Wasserstein距离用以度量分布相似性，更近一步将Wasserstein度量转化为优化问题的代价函数，从而提升原优化问题的收敛性和精确性。另外，本发明提出的代价函数作为封闭几何轮廓相似性度量具有通用性，如在深度学习物体识别中预测框与数据集真实检测框的度量上亦适用。

公开(公告)号：CN113034584B

公开(公告)日：2022-08-30

申请号：CN202110411557.4

申请日：2021-04-16

Applicant: 广东工业大学

Inventor： 林旭滨 ,  何力 ,  杨益枘 ,  管贻生 ,  张宏

IPC: G06T7/70 ,  G06T7/30 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种基于物体语义路标的移动机器人视觉定位方法，首先构建离线的物体路标全局地图，然后构建在线的物体路标局部地图，接着、以图结构为数学模型对物体路标局部地图和物体路标全局地图进行数学表达，并以子图匹配问题作为地图匹配数学方程，以子地图匹配求解结果实现物体路标局部地图在物体路标全局地图中的配准估计，最终实现移动机器人的视觉定位。本发明基于物体语义路标进行机器人视觉定位，利用三维空间的几何结构具有视角不变性的性质，摆脱定位系统对机器人运动姿态的限制要求，提升定位系统对外界环境条件的鲁棒性，最终提升移动机器人的自主性和灵活性。