一种基于多模态视觉信息融合的机器人抓取检测方法

    公开(公告)号:CN115861999B

    公开(公告)日:2025-03-21

    申请号:CN202211212605.8

    申请日:2022-09-30

    Abstract: 本发明涉及一种基于多模态视觉信息融合的机器人抓取检测方法,包括:通过深度相机获取RGB图像和深度图像;利用深度学习YOLO检测目标物体的外接矩形框;结合深度图像获取目标物体的包围盒;分割提取目标物体的点云;对点云进行处理,先后进行降采样,点云滤波和点云聚类操作;计算目标点云的质心并利用PCA算法计算主成分方向;对目标点云进行随机均匀采样,生成候选抓取姿态;将抓握候选内部点云编码多通道图像,使用卷积神经网络预测分数;融合全局点云信息和局部点云信息,通过加权求和选出质量最高的抓取姿态作为执行位姿。该方法充分利用彩色图像,深度图像和以及目标物体点云的全局与局部信息,提高了机械臂与环境的交互能力。

    一种基于简易语义点云的抓取采样方法

    公开(公告)号:CN119188728A

    公开(公告)日:2024-12-27

    申请号:CN202411166660.7

    申请日:2024-08-23

    Abstract: 本发明涉及机器人目标物体抓取技术领域,具体涉及一种基于简易语义点云的抓取采样方法,该方法包括根据RGB图像、深度图像以及掩码图像构建以目标为中心的语义点云;利用PCA算法在每个采样点处求解点云的法向量和主轴向量,并建立抓取坐标系;对初步筛选的抓取坐标系进行局部网格搜索,生成候选抓取姿态,再通过平移和旋转生成多个候选抓取姿态;建立抓取置信度函数并对候选抓取姿态进行评价并排序,选取分数最高的候选姿态作为最佳抓取姿态。本发明利用RGB图像和深度图像所提供的目标信息,可以在非结构化复杂环境下生成指定目标物体的高质量抓取采样姿态,有助于提高机械臂视觉抓取的稳定性。

    一种复杂场景下的机械臂六自由度抓取检测方法

    公开(公告)号:CN118163105A

    公开(公告)日:2024-06-11

    申请号:CN202410392217.5

    申请日:2024-04-02

    Abstract: 本发明涉及一种复杂场景下的机械臂六自由度抓取检测方法,属于机器人目标物体抓取技术领域。获取目标物体的点云簇和整个点云场景;计算点云的轮廓和可抓取区域;计算点云簇的质心和特征向量;在目标物体上预先生成抓取姿态;利用点云簇的质心和特征向量对抓取姿态进行过滤,保留的抓取姿态为靠近点云簇质心和与方向向量夹角满足要求的部分抓取姿态;将保留后的抓取姿态输入到抓取姿态生成网络中进行打分;区域点云分析法对抓取保留后的抓取姿态的质量进行打分;将两个分数分别给予不同的权重,并进行最后的排序,输出最高分数对应的抓取姿态;让机械臂执行该抓取姿态,抓取目标物体。可以实现在复杂环境下实现对目标物体的稳定抓取。

    一种基于新颖性度量的SAC强化学习视觉伺服控制方法及系统

    公开(公告)号:CN116382089A

    公开(公告)日:2023-07-04

    申请号:CN202310439089.0

    申请日:2023-04-21

    Abstract: 本发明涉及一种新颖性度量的SAC强化学习视觉伺服控制及系统,涉及强化学习在视觉伺服方面的应用领域。该方法包括了虚拟环境的构建,目标函数定义、交互过程中奖励函数的定义、新颖性度量函数定义等步骤。执行阶段通过将目标位置信息输入至强化学习的策略网络中,根据策略网络输出的控制速度信息对四旋翼进行位置控制。本发明解决了相关理论中从视觉特征到控制速度信息之间环节较多的问题,实现了从特征到控制量的端对端控制,从而减少了人为设计环节。

    一种基于多模态视觉信息融合的机器人抓取检测方法

    公开(公告)号:CN115861999A

    公开(公告)日:2023-03-28

    申请号:CN202211212605.8

    申请日:2022-09-30

    Abstract: 本发明涉及一种基于多模态视觉信息融合的机器人抓取检测方法,包括:通过深度相机获取RGB图像和深度图像;利用深度学习YOLO检测目标物体的外接矩形框;结合深度图像获取目标物体的包围盒;分割提取目标物体的点云;对点云进行处理,先后进行降采样,点云滤波和点云聚类操作;计算目标点云的质心并利用PCA算法计算主成分方向;对目标点云进行随机均匀采样,生成候选抓取姿态;将抓握候选内部点云编码多通道图像,使用卷积神经网络预测分数;融合全局点云信息和局部点云信息,通过加权求和选出质量最高的抓取姿态作为执行位姿。该方法充分利用彩色图像,深度图像和以及目标物体点云的全局与局部信息,提高了机械臂与环境的交互能力。

Patent Agency Ranking