一种单视角点云下基于实例分割的机器人抓取检测方法

    公开(公告)号:CN110363815A

    公开(公告)日:2019-10-22

    申请号:CN201910368494.1

    申请日:2019-05-05

    Applicant: 东南大学

    Abstract: 本发明公开了一种单视角点云下基于实例分割的机器人抓取检测方法,包括以下步骤:1)获取抓取场景图像和点云;2)利用Mask R-CNN及彩色图像与有序点云间的映射关系实现物体点云粗分割,再基于离群点滤波提纯目标点云;3)目标点云上均匀随机采样并建立局部标架,根据局部标架和平移搜索获得候选抓取位姿;4)抓取位姿编码,将候选抓取位姿编码成单通道抓取图像;5)构建以单通道抓取图像为输入、以位置敏感的全卷积神经网络为核心的抓取位姿稳定概率预测模型;6)利用仿真软件辅助生成模型训练样本并实现自动标注,从模型预测结果中优选出最终检测结果。本发明针对受限制复杂场景,提供一种RGB-D传感器单视角下的物体空间抓取位姿学习与检测方法,具备对未知、非规则物体新实例的泛化性能。

    一种基于卷积神经网络的车牌图像清晰化方法

    公开(公告)号:CN108549892B

    公开(公告)日:2022-02-11

    申请号:CN201810599569.2

    申请日:2018-06-12

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于卷积神经网络的车牌图像清晰化方法,能够对受到运动模糊影响的车牌图像进行清晰化,该方法包括以下步骤:建立一种轻量级的卷积神经网络模型,设置网络的结构和训练参数;制作卷积神经网络的训练集;训练卷积神经网络,得到网络的权重;基于卷积神经网络的训练模型,即可以对道路监控设备拍摄到的模糊车牌图像进行清晰化。本发明应用于刑侦和OCR识别等方面,针对一处道路监控设备,由于车辆的运动速度和出现位置不同,车牌图像的模糊程度和模糊角度在一定范围内变化,传统的去运动模糊方法无法有效处理,通过卷积神经网络的方法可以对车牌图像一定范围内的运动模糊进行清晰化,且具有较快的处理速度。

    一种基于卷积神经网络的车牌图像清晰化方法

    公开(公告)号:CN108549892A

    公开(公告)日:2018-09-18

    申请号:CN201810599569.2

    申请日:2018-06-12

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于卷积神经网络的车牌图像清晰化方法,能够对受到运动模糊影响的车牌图像进行清晰化,该方法包括以下步骤:建立一种轻量级的卷积神经网络模型,设置网络的结构和训练参数;制作卷积神经网络的训练集;训练卷积神经网络,得到网络的权重;基于卷积神经网络的训练模型,即可以对道路监控设备拍摄到的模糊车牌图像进行清晰化。本发明应用于刑侦和OCR识别等方面,针对一处道路监控设备,由于车辆的运动速度和出现位置不同,车牌图像的模糊程度和模糊角度在一定范围内变化,传统的去运动模糊方法无法有效处理,通过卷积神经网络的方法可以对车牌图像一定范围内的运动模糊进行清晰化,且具有较快的处理速度。

    一种基于域迁移和深度补全的物体姿态估计方法

    公开(公告)号:CN113297988B

    公开(公告)日:2024-03-22

    申请号:CN202110592716.5

    申请日:2021-05-28

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于域迁移和深度补全的物体姿态估计方法,包括以下步骤:1)针对实验场景采集物体姿态估计真实数据集,利用仿真生成器生成物体姿态估计仿真数据集;2)基于领域自适应技术实现仿真数据到真实数据的迁移;3)利用迁移后的物体姿态估计数据集,训练基于感知融合的物体姿态估计网络;4)通过深度相机获取场景的颜色和深度信息,并补全深度信息;5)给定场景中的颜色图和补全后深度图,利用物体姿态估计训练结果,进行目标物体的姿态估计。本发明针对实物域制作数据集困难、深度相机获取深度信息失真等问题,通过域迁移来缓解数据采集与标注成本,使用深度补全来改善深度信息的质量,该方法具有对未知、复杂场景的泛化性能。

    基于逐步对抗学习的半监督图像实例分割方法

    公开(公告)号:CN109949317A

    公开(公告)日:2019-06-28

    申请号:CN201910168475.4

    申请日:2019-03-06

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于逐步对抗学习的半监督图像实例分割方法,包括步骤:1、构建Mask R-CNN实例分割模型;2、基于DCGAN训练Mask R-CNN中的FPN;3、采用标注数据对Mask R-CNN中的其他模块进行初步训练;4、构建判别卷积网络,与Mask R-CNN构成对抗学习网络,通过对抗训练,优化对抗学习网络的参数;5、将判别卷积网络的输出反馈至Mask R-CNN,对实例分割模型进行再训练;6、利用实例分割模型对待分割图像进行分割。该方法利用仅有部分标注图像的样本集进行模型训练,减少了处理样本的工作量,且能够获得较高精确度的分割模型。

    一种基于域迁移和深度补全的物体姿态估计方法

    公开(公告)号:CN113297988A

    公开(公告)日:2021-08-24

    申请号:CN202110592716.5

    申请日:2021-05-28

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于域迁移和深度补全的物体姿态估计方法,包括以下步骤:1)针对实验场景采集物体姿态估计真实数据集,利用仿真生成器生成物体姿态估计仿真数据集;2)基于领域自适应技术实现仿真数据到真实数据的迁移;3)利用迁移后的物体姿态估计数据集,训练基于感知融合的物体姿态估计网络;4)通过深度相机获取场景的颜色和深度信息,并补全深度信息;5)给定场景中的颜色图和补全后深度图,利用物体姿态估计训练结果,进行目标物体的姿态估计。本发明针对实物域制作数据集困难、深度相机获取深度信息失真等问题,通过域迁移来缓解数据采集与标注成本,使用深度补全来改善深度信息的质量,该方法具有对未知、复杂场景的泛化性能。

    基于逐步对抗学习的半监督图像实例分割方法

    公开(公告)号:CN109949317B

    公开(公告)日:2020-12-11

    申请号:CN201910168475.4

    申请日:2019-03-06

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于逐步对抗学习的半监督图像实例分割方法,包括步骤:1、构建Mask R‑CNN实例分割模型;2、基于DCGAN训练Mask R‑CNN中的FPN;3、采用标注数据对Mask R‑CNN中的其他模块进行初步训练;4、构建判别卷积网络,与Mask R‑CNN构成对抗学习网络,通过对抗训练,优化对抗学习网络的参数;5、将判别卷积网络的输出反馈至Mask R‑CNN,对实例分割模型进行再训练;6、利用实例分割模型对待分割图像进行分割。该方法利用仅有部分标注图像的样本集进行模型训练,减少了处理样本的工作量,且能够获得较高精确度的分割模型。

Patent Agency Ranking