公开(公告)号：CN113110509B

公开(公告)日：2023-02-28

申请号：CN202110535242.0

申请日：2021-05-17

Applicant: 哈尔滨工业大学(深圳)

Inventor： 许运鸿 ,  李衍杰 ,  吕少华 ,  刘奇 ,  陈美玲 ,  赵威龙 ,  刘悦丞 ,  高建琦

IPC: G05D1/02

Abstract: 本发明提供了一种基于深度强化学习的仓储系统多机器人路径规划方法，包括如下步骤：步骤S1：定义多机器人路径规划问题中的节点、状态、动作、奖励回报；步骤S2：选择子目标点，中央控制器计算每个机器人的状态；步骤S3：基于深度强化学习方法，设计分布式多机器人路径规划器；步骤S4：计算损失函数，对网络参数进行更新；步骤S5：将训练好的模型应用于多机器人路径规划。本发明的有益效果是：本发明能够解决传统路径规划算法实时性差的问题，并且容易拓展到不同地图规模、不同机器人数量的仓储系统中，具有良好的泛化性能。

公开(公告)号：CN113096161A

公开(公告)日：2021-07-09

申请号：CN202110353618.6

申请日：2021-03-31

Applicant: 哈尔滨工业大学(深圳)

Inventor： 刘奇 ,  李衍杰 ,  牟涌金 ,  许运鸿 ,  刘悦丞 ,  高建琦

IPC: G06T7/277 ,  G06K9/00 ,  G06N3/04 ,  G06N20/20 ,  G01C21/20 ,  G01C21/00

Abstract: 本发明公开了一种基于空间‑时间图注意力神经网络的密集行人环境下强化学习移动机器人的导航方法，首先使用了三维多物体跟踪JRMOT技术进行2D和3D的行人轨迹追踪技术，对行人的位置进行实时追踪，在让机器人使用空间‑时间图注意力STGAT模型，根据行人历史轨迹预测未来轨迹，当机器人在行人环境中有了各个行人的轨迹后，再使用蒙特卡洛树搜索和价值估计网络，做出最优决策，进行导航任务。本发明能够在密集行人环境下快速做出避障决策，拓展了移动机器人的应用场景。

公开(公告)号：CN113110509A

公开(公告)日：2021-07-13

申请号：CN202110535242.0

申请日：2021-05-17

Applicant: 哈尔滨工业大学(深圳)

Inventor： 许运鸿 ,  李衍杰 ,  吕少华 ,  刘奇 ,  陈美玲 ,  赵威龙 ,  刘悦丞 ,  高建琦

IPC: G05D1/02

Abstract: 本发明提供了一种基于深度强化学习的仓储系统多机器人路径规划方法，包括如下步骤：步骤S1：定义多机器人路径规划问题中的节点、状态、动作、奖励回报；步骤S2：选择子目标点，中央控制器计算每个机器人的状态；步骤S3：基于深度强化学习方法，设计分布式多机器人路径规划器；步骤S4：计算损失函数，对网络参数进行更新；步骤S5：将训练好的模型应用于多机器人路径规划。本发明的有益效果是：本发明能够解决传统路径规划算法实时性差的问题，并且容易拓展到不同地图规模、不同机器人数量的仓储系统中，具有良好的泛化性能。