公开(公告)号：CN118143928A

公开(公告)日：2024-06-07

申请号：CN202410089385.7

申请日：2024-01-22

Applicant: 山东大学

Inventor： 宋勇 ,  屠鹏 ,  许庆阳 ,  袁宪锋 ,  刘萍萍 ,  刘冰 ,  田容雨 ,  李贻斌

IPC: B25J9/16

Abstract: 本发明提出基于力控协调和深度强化学习的轴孔装配控制方法及系统，涉及机器人装配技术领域。包括将机器人对齿轮轴孔的装配过程分为搜孔和插孔两阶段，分别进行马尔可夫过程描述，完成整体建模；引入深度强化学习算法和PD力控制器，融合深度强化学习网络的输出和PD力控制器的输出共同控制机器人动作，使轴和齿轮之间以设定期望力相接触或者轴以设定期望力插入齿轮孔中，控制轴件跟随轨迹点运动，对深度强化学习网络进行训练，并完成机器人对轴孔的装配。本发明将PD力控制器的计算输出融入深度强化学习策略网络的动作输出，减小轴件在装配过程所受力/力矩，并融入了优先经验回放机制，加快轴孔装配策略收敛过程。

公开(公告)号：CN119026666A

公开(公告)日：2024-11-26

申请号：CN202411130661.6

申请日：2024-08-16

Applicant: 山东大学

Inventor： 宋勇 ,  石其同 ,  许庆阳 ,  袁宪锋 ,  刘萍萍 ,  刘冰 ,  田容雨 ,  李贻斌

IPC: G06N3/092 ,  G06N3/0442 ,  G06N3/045

Abstract: 本发明属于多智能体控制技术领域，具体涉及一种基于深度强化学习的多智能体协同控制方法及系统；其中，基于深度强化学习的多智能体协同控制方法包括：获取智能体个体的状态空间和动作空间；考虑智能体个体的隐式奖励函数，构建最优互惠避障可行域；采用添加双向门控循环单元的多智能体近端策略优化算法进行多智能体的深度强化学习，优化智能体个体的动作空间和状态空间，得到多智能体的动态状态估计值；根据所得到的动态状态估计值，规划智能体个体的最优路径，完成多智能体的协同控制。针对智能体个体之间如何协同控制的难题进行了深入研究，结合多智能体避障与路径规划在动态环境中实现智能体之间的协同与竞争，实现多种场景下的路径规划。

公开(公告)号：CN119150910A

公开(公告)日：2024-12-17

申请号：CN202411130662.0

申请日：2024-08-16

Applicant: 山东大学

Inventor： 宋勇 ,  井庆泽 ,  许庆阳 ,  袁宪锋 ,  刘萍萍 ,  刘冰 ,  田容雨 ,  李贻斌

IPC: G06N3/006 ,  G06Q10/101

Abstract: 本发明属于多智能体技术领域，具体涉及一种基于动态邻居智能体势场的多智能体围捕方法及系统；其中，基于动态邻居智能体势场的多智能体围捕方法包括：考虑动态邻居智能体势场和所设置的多智能体围捕成功条件，确定围捕智能体队形；围捕智能体进行目标智能体的围捕，若成功捕获目标智能体，则基于动态邻居智能体势能进行邻居围捕智能体的围捕，否则继续围捕目标智能体直到成功捕获目标智能体为止；当所有的邻居围捕智能体均成功围捕目标智能体时，完成多智能体围捕。解决了多智能体围捕任务中围捕智能体群体协同性问题，发挥每个围捕智能体的作用，提高了多智能体围捕效率，实现复杂环境下多智能体的高效围捕。