公开(公告)号：CN116352709A

公开(公告)日：2023-06-30

申请号：CN202310276559.6

申请日：2023-03-21

Applicant: 河南大学

Inventor： 王赞 ,  汪钇成 ,  代震 ,  陈立家 ,  李孟伟 ,  许世文 ,  董孟豪 ,  连晨轩 ,  喻方 ,  吴俊霆 ,  陈慧彬 ,  万富瑞 ,  刘慧平 ,  郭行通

IPC: B25J9/16 ,  G06F30/27 ,  G06N3/08 ,  G06N3/04 ,  G06F119/14

Abstract: 本发明提出了通过在机械臂训练系统中输入并融合多视角的二维图像，以提高机械臂训练效率的方法。由于维度的限制，相机采集的二维图像在描述三维场景下机械臂运动状态的过程中存在局限性，导致机械臂实际训练的难度增加，因此本发明首先在机械臂训练系统中增加三个机位，分别获得机械臂三维场景下的正视图、侧视图和俯视图。然后在训练阶段中将采集到的三组不同视角下的图像分别输入到编码器中，得到三组关于图像的隐变量，依次与世界模型中的隐变量融合。由于三种视图描述了三维场景下不同视角的状态，因此系统中通过融合后所获得的状态信息量大于其中任意一种视角下的图像，这种方法使机械臂得到高效训练，有助于机械臂完成更复杂的任务。