基于跨模态预测装配场景的机器人精密装配方法

    公开(公告)号:CN113954076B

    公开(公告)日:2023-01-13

    申请号:CN202111336234.X

    申请日:2021-11-12

    Abstract: 本发明涉及一种基于跨模态预测装配场景的机器人装配的方法及系统,其中,在所述机器人末端的夹持执行器上设有触觉传感器,并且所述夹持执行器的装配区域被视觉设备拍摄:提供多个神经网络模型,所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型,其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据。本发明的多层感知机输出的预测视觉表征向量代替现有采用视觉设备收集实际真实图片的数据,使该系统发生譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题时,整个系统仍能完成精密装配步骤,增加系统的可靠性。

    面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法

    公开(公告)号:CN113878588A

    公开(公告)日:2022-01-04

    申请号:CN202111336206.8

    申请日:2021-11-12

    Abstract: 本发明涉及一种基于机器人的柔顺装配方法,其中,在所述机器人末端的夹持执行器上设有触觉传感器,所述方法包括以下步骤:提供张量融合网络模型,其中的训练数据包含来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据;通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作,然后通过触觉传感器实时采集与所述装配区域对应的触觉数据。本发明公开的基于机器人的柔顺装配方法,系统中利通过因果卷积网络将触觉流降维,再与视觉设备收集的两种图像的表征向量通过张量融合网络模型融合,再将所得到的三维张量展平并输入由多层感知机组成的阻尼点预测器中,迅速判断装配件是否到达插口中的卡扣阻尼点。

    基于跨模态预测装配场景的机器人精密装配方法

    公开(公告)号:CN113954076A

    公开(公告)日:2022-01-21

    申请号:CN202111336234.X

    申请日:2021-11-12

    Abstract: 本发明涉及一种基于跨模态预测装配场景的机器人装配的方法及系统,其中,在所述机器人末端的夹持执行器上设有触觉传感器,并且所述夹持执行器的装配区域被视觉设备拍摄:提供多个神经网络模型,所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型,其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据。本发明的多层感知机输出的预测视觉表征向量代替现有采用视觉设备收集实际真实图片的数据,使该系统发生譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题时,整个系统仍能完成精密装配步骤,增加系统的可靠性。

    面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法

    公开(公告)号:CN113878588B

    公开(公告)日:2023-03-31

    申请号:CN202111336206.8

    申请日:2021-11-12

    Abstract: 本发明涉及一种基于机器人的柔顺装配方法,其中,在所述机器人末端的夹持执行器上设有触觉传感器,所述方法包括以下步骤:提供张量融合网络模型,其中的训练数据包含来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据;通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作,然后通过触觉传感器实时采集与所述装配区域对应的触觉数据。本发明公开的基于机器人的柔顺装配方法,系统中利通过因果卷积网络将触觉流降维,再与视觉设备收集的两种图像的表征向量通过张量融合网络模型融合,再将所得到的三维张量展平并输入由多层感知机组成的阻尼点预测器中,迅速判断装配件是否到达插口中的卡扣阻尼点。

    基于视、触觉融合的机器人精密装配控制方法及系统

    公开(公告)号:CN113927602B

    公开(公告)日:2023-03-17

    申请号:CN202111336249.6

    申请日:2021-11-12

    Abstract: 本发明涉及基于机器人的装配控制方法及系统,提供多个神经网络模型,所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型,其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据。同时公开了一种基于机器人的装配控制系统,其包括:在机器人移动部分末端设置的夹持执行器及与机器人配套的视觉设备,所述夹持执行器的夹持内侧从内到外依次设置触觉传感器及软胶垫。本发明的系统利用触觉信号的变化来间接得到其他维度的外力信息,并将其与视觉信息相融合,表征向量能够用于生成合适的机器人动作指令,以及灵活调整插装力以完成装配。

    基于视、触觉融合的机器人精密装配控制方法及系统

    公开(公告)号:CN113927602A

    公开(公告)日:2022-01-14

    申请号:CN202111336249.6

    申请日:2021-11-12

    Abstract: 本发明涉及基于机器人的装配控制方法及系统,提供多个神经网络模型,所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型,其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据。同时公开了一种基于机器人的装配控制系统,其包括:在机器人移动部分末端设置的夹持执行器及与机器人配套的视觉设备,所述夹持执行器的夹持内侧从内到外依次设置触觉传感器及软胶垫。本发明的系统利用触觉信号的变化来间接得到其他维度的外力信息,并将其与视觉信息相融合,表征向量能够用于生成合适的机器人动作指令,以及灵活调整插装力以完成装配。

Patent Agency Ranking