公开(公告)号：CN114851227B

公开(公告)日：2024-02-27

申请号：CN202210712997.8

申请日：2022-06-22

Applicant: 上海大学

Inventor： 孙腾 ,  张喆 ,  李楠 ,  苗中华

IPC: B25J13/08 ,  B25J19/02

Abstract: 本发明属于机器融合感知技术领域，具体为一种基于机器视觉与触觉融合感知的装置，包括视觉处理模块、触觉处理模块、物体识别模块和机器人动作模块；其中，所述视觉处理模块包括RGBD相机、图像预处理模块和深度学习模型，RGBD相机采集目标物体信息，经过图像预处理模块后将信息输入到深度学习模型，对物体进行初步识别；识别精度达到阈值要求，输出识别结果，未能达到阈值要求，将初步识别结果输入到机器学习器贝叶斯模型作为先验概率，利用视觉的初始信息对物体进行初步判断，并通过视觉定位物体的位置，然后控制机器人自动接触物体，完成进一步的触觉探索，提取更多物体特征，最后利用深度学习或者机器学习方法融合多源异构信息进行物体的识别。

公开(公告)号：CN114851227A

公开(公告)日：2022-08-05

申请号：CN202210712997.8

申请日：2022-06-22

Applicant: 上海大学

Inventor： 孙腾 ,  张喆 ,  李楠 ,  苗中华

IPC: B25J13/08 ,  B25J19/02

Abstract: 本发明属于机器融合感知技术领域，具体为一种基于机器视觉与触觉融合感知的装置，包括视觉处理模块、触觉处理模块、物体识别模块和机器人动作模块；其中，所述视觉处理模块包括RGBD相机、图像预处理模块和深度学习模型，RGBD相机采集目标物体信息，经过图像预处理模块后将信息输入到深度学习模型，对物体进行初步识别；识别精度达到阈值要求，输出识别结果，未能达到阈值要求，将初步识别结果输入到机器学习器贝叶斯模型作为先验概率，利用视觉的初始信息对物体进行初步判断，并通过视觉定位物体的位置，然后控制机器人自动接触物体，完成进一步的触觉探索，提取更多物体特征，最后利用深度学习或者机器学习方法融合多源异构信息进行物体的识别。