公开(公告)号：CN117817672A

公开(公告)日：2024-04-05

申请号：CN202410193401.7

申请日：2024-02-21

Applicant: 山东大学

Inventor： 张伟 ,  李宇 ,  宋然 ,  李大猷 ,  赵晨坤 ,  李传鹏 ,  曹睿 ,  李晓磊

IPC: B25J9/16 ,  B25J11/00

Abstract: 本发明公开了一种大语言模型辅助的智能机器人取物方法及系统，涉及智能机器人控制技术领域。该方法包括步骤：获取观测图像，得到不同物体的级别特征表示；根据全局路径结合机器人的主动避障操作进行移动任务，根据移动任务实际经过的移动路径构建特征地图；在特征地图对目标物体进行查询和定位，根据定位结果执行物体拿取任务，其中，目标物体的查询过程为：首先利用大语言模型提取得到目标物体文本，而后再利用视觉语言模型对目标物体文本进行处理得到文字查询特征。本发明通过应用大语言模型完成物品级别特征地图构建，并应用大语言模型的自然语言理解能力以及对通用常识的理解，通过自然语言完成对机器人的指令下达，实现取货在内的任务。