公开(公告)号：CN118567232A

公开(公告)日：2024-08-30

申请号：CN202410610763.1

申请日：2024-05-16

Applicant: 山东大学

Inventor： 李大猷 ,  张伟 ,  赵晨琨 ,  杨硕 ,  魏鹏坤 ,  郑晨晨 ,  宋然 ,  程吉禹

IPC: G05B13/04 ,  G06N3/0464 ,  G06F18/25 ,  G06N5/04

Abstract: 本发明提出了一种大模型驱动的机器人操作任务执行方法及系统，涉及智能机器人控制技术领域，具体方案包括：获取待操作物体图像和待执行的语言指令；将物体图像和语言指令输入到训练好的指令引导操作可供性预测网络中，生成操作可供性图，进而确定物体的操作区域，其中，所述操作可供性图是为物体图像的每个像素点分配一个可供性值；基于语言指令和操作区域，生成可执行的动作，指导智能机器人完成操作任务；本发明提出了指令引导操作可供性预测网络，利用在数据增强后的数据集上训练后的强大先验，预测指令引导的机器人操作任务的可供性图，进而得到可执行的动作。

公开(公告)号：CN118544375A

公开(公告)日：2024-08-27

申请号：CN202410604362.5

申请日：2024-05-15

Applicant: 山东大学

Inventor： 李大猷 ,  张伟 ,  赵晨琨 ,  杨硕 ,  魏鹏坤 ,  郑晨晨 ,  宋然 ,  程吉禹

IPC: B25J13/00 ,  G06V20/50 ,  G06V20/64 ,  G06V10/26 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/092 ,  G06N3/048

Abstract: 本发明公开了一种基于深度强化学习和动作协同的目标抓取方法与系统，方法包括：判断出目标物体是否被遮挡住，如果被遮挡住，则将输入图像均输入到移动动作评价网络中，得到移动动作价值；根据移动动作价值，完成对目标物体的移动，直至目标物体不再被遮挡住；将输入图像均输入到抓取动作评价网络中，得到抓取动作价值；根据抓取动作价值，对机器人进行控制，以完成对目标物体的抓取；判断物体抓取是否成功，若抓取失败则将输入图像均输入到推动动作评价网络中，得到推动动作价值，根据推动动作价值，完成对目标物体的推动；将推动后的目标物体图像再次输入到抓取动作评价网络中，得到抓取动作价值，根据抓取动作价值，完成对目标物体的抓取。