公开(公告)号：CN116692389A

公开(公告)日：2023-09-05

申请号：CN202310796766.4

申请日：2023-06-30

Applicant: 山东大学

Inventor： 张伟 ,  赵晨琨 ,  杨硕 ,  李大猷 ,  魏鹏坤 ,  宋然 ,  马林 ,  李晓磊 ,  吴颖颖

IPC: B65G43/00 ,  B65G47/91

Abstract: 本发明提供一种多类别多自由度机械臂卸货方法，涉及纸箱检测卸货领域，通过将多类别4自由度纸箱检测引入到卸货任务中，并建立检测方法，定位纸箱位置和旋转并识别纸箱类别，为了生成纸箱的拆卸顺序，提出利用基于人类先验知识的启发式规则；为了匹配不同类型的纸箱和任务设置的分类属性，对运动轨迹进行合理设计，获取完整的机械臂卸货系统，并能够满足效率和可靠性的需求。

公开(公告)号：CN118567232A

公开(公告)日：2024-08-30

申请号：CN202410610763.1

申请日：2024-05-16

Applicant: 山东大学

Inventor： 李大猷 ,  张伟 ,  赵晨琨 ,  杨硕 ,  魏鹏坤 ,  郑晨晨 ,  宋然 ,  程吉禹

IPC: G05B13/04 ,  G06N3/0464 ,  G06F18/25 ,  G06N5/04

Abstract: 本发明提出了一种大模型驱动的机器人操作任务执行方法及系统，涉及智能机器人控制技术领域，具体方案包括：获取待操作物体图像和待执行的语言指令；将物体图像和语言指令输入到训练好的指令引导操作可供性预测网络中，生成操作可供性图，进而确定物体的操作区域，其中，所述操作可供性图是为物体图像的每个像素点分配一个可供性值；基于语言指令和操作区域，生成可执行的动作，指导智能机器人完成操作任务；本发明提出了指令引导操作可供性预测网络，利用在数据增强后的数据集上训练后的强大先验，预测指令引导的机器人操作任务的可供性图，进而得到可执行的动作。

公开(公告)号：CN118133930A

公开(公告)日：2024-06-04

申请号：CN202311371957.2

申请日：2023-10-20

Applicant: 山东大学

Inventor： 杨硕 ,  张伟 ,  宋然 ,  李大猷 ,  赵晨琨 ,  李腾 ,  巨浩

IPC: G06N3/092 ,  G06N3/006 ,  G06F18/25 ,  G06V20/50 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0499

Abstract: 本发明公开了一种基于多模态自适应融合的机器人技能连续学习方法及系统，涉及机器人学习技术领域。该方法包括步骤：获取机器人操作环境和操作任务的多种模态数据；利用深度学习将多种模态数据特征进行自适应融合；利用强化学习算法将融合后的数据特征对机器人进行操作技能的实际训练；其中，训练过程为连续学习，包括新策略的学习和旧策略的经验重访；根据训练结果更新机器人的操作技能。本发明旨在融合多模态传感器数据，通过连续学习方式实现机器人在多样化任务和环境中的高效学习和自适应操作，显著提升机器人面向动态复杂场景的连续学习能力，增强其在多种任务上的泛化性。

公开(公告)号：CN118544375A

公开(公告)日：2024-08-27

申请号：CN202410604362.5

申请日：2024-05-15

Applicant: 山东大学

Inventor： 李大猷 ,  张伟 ,  赵晨琨 ,  杨硕 ,  魏鹏坤 ,  郑晨晨 ,  宋然 ,  程吉禹

IPC: B25J13/00 ,  G06V20/50 ,  G06V20/64 ,  G06V10/26 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/092 ,  G06N3/048

Abstract: 本发明公开了一种基于深度强化学习和动作协同的目标抓取方法与系统，方法包括：判断出目标物体是否被遮挡住，如果被遮挡住，则将输入图像均输入到移动动作评价网络中，得到移动动作价值；根据移动动作价值，完成对目标物体的移动，直至目标物体不再被遮挡住；将输入图像均输入到抓取动作评价网络中，得到抓取动作价值；根据抓取动作价值，对机器人进行控制，以完成对目标物体的抓取；判断物体抓取是否成功，若抓取失败则将输入图像均输入到推动动作评价网络中，得到推动动作价值，根据推动动作价值，完成对目标物体的推动；将推动后的目标物体图像再次输入到抓取动作评价网络中，得到抓取动作价值，根据抓取动作价值，完成对目标物体的抓取。

公开(公告)号：CN118003333A

公开(公告)日：2024-05-10

申请号：CN202410342713.X

申请日：2024-03-25

Applicant: 山东大学

Inventor： 张伟 ,  赵晨琨 ,  宋然 ,  杨硕 ,  李大猷 ,  魏鹏坤

IPC: B25J9/16

Abstract: 本公开提供了一种大模型驱动物体自主摆放的机器人控制方法及系统，涉及机器人控制技术领域，包括：获取候选物体对象的属性信息以及所述候选物体对象的初始状态；根据选物体对象的初始状态，生成候选物体对象指定摆放偏好的用户指令；将所述属性信息和所述用户指令输入至基于Transformer的扩散模型中，获取预测的以用户指令和初始状态为条件的物体重新摆放的目标状态；将所述目标状态和初始状态输入至基于LLM的轨迹生成器中，确定物体重新摆放到目标状态的顺序，然后采用RRT‑Connect运动规划方法，以递归方式生成用于机器人物体重新摆放物体至目标状态的无碰撞轨迹。

公开(公告)号：CN116276998A

公开(公告)日：2023-06-23

申请号：CN202310250707.7

申请日：2023-03-10

Applicant: 山东大学

Inventor： 张伟 ,  褚石磊 ,  杨硕 ,  宋然 ,  李大猷 ,  魏鹏坤 ,  赵晨琨

IPC: B25J9/16

Abstract: 本公开提供了一种基于强化学习的免手眼标定的机械臂抓取方法及系统，涉及强化学习技术领域，方法包括构建智能体交互仿真环境，定义仿真环境的状态值；获取所述智能体的状态数据、待抓取目标物体的姿态，识别抓取点的坐标；采用最优闭环抓取策略，智能体感知当前环境的信息，根据环境信息计算最优的抓取动作，执行动作之后并再次感知，获取新的环境信息，不断重复，直至成功抓取目标物体；同时识别所述智能体抓取目标物体的行为，并对抓取过程产生的行为定义奖励机制，监督智能体抓取行为。本公开能够省去手眼标定的繁琐步骤。