公开(公告)号：CN114741950A

公开(公告)日：2022-07-12

申请号：CN202210235451.8

申请日：2022-03-10

Applicant: 东北大学

Inventor： 陈愉彬 ,  李丹程

IPC: G06F30/27 ,  G06T17/00 ,  G06N3/08

Abstract: 本发明公开一种基于ROS的AGV位置和角度修正的仿真系统及方法，本系统基于ROS系统，包括AGV模型模块、场景模型建立模块、算法模型模块、运动过程数据获取模块、运动控制模块和参数反馈模块；AGV模型模块创建AGV三维运动模型；场景模型建立模块创建AGV运行场景模型，并确定仿真时的各个运行路线；运动过程数据获取模块实时获取运行过程中的位置和角度信息；算法模型模块根据位置和角度计算奖励值，输出对参数PID的调整操作；运动控制模块设置运动相关的参数，对位置和角度进行修正；参数反馈模块将修正后的PID反馈给算法模型模块；同时反馈给运动控制模块更新PID，实现位置和角度修正。本发明通过AGV的位置和角度信息实现PID参数的自动控制，提高了工作效率。

公开(公告)号：CN114527642B

公开(公告)日：2024-04-02

申请号：CN202210207327.0

申请日：2022-03-03

Applicant: 东北大学

Inventor： 陈愉彬 ,  李丹程

IPC: G05B11/42

Abstract: 本发明公开一种基于深度强化学习的AGV自动调整PID参数的方法，方法首先将生产环境的实际场景进行建模，建立马尔可夫决策过程；然后初始化AGV的当前状态，根据ε‑greedy决策选择动作，获得AGV的下一个状态，并将其发送给AGV运行，获取AGV运行过程中的数据，计算奖励值；接着储存当前状态、动作、奖励值和下一个状态到记忆库中，从记忆库中取样并使用深度强化学习DQN网络模型中的评估网络和目标网络分别计算当前状态和下一状态的所有值函数，使用梯度下降、均方差损失函数计算损失，并将评估网络参数更新到目标网络；最后根据AGV运行情况判断当前的PID是否为最终状态，结束PID参数的调整。本发明的方法不仅适用于所有生产环境，还能提高AGV投入使用的工作效率。

公开(公告)号：CN114527642A

公开(公告)日：2022-05-24

申请号：CN202210207327.0

申请日：2022-03-03

Applicant: 东北大学

Inventor： 陈愉彬 ,  李丹程

IPC: G05B11/42

Abstract: 本发明公开一种基于深度强化学习的AGV自动调整PID参数的方法，方法首先将生产环境的实际场景进行建模，建立马尔可夫决策过程；然后初始化AGV的当前状态，根据ε‑greedy决策选择动作，获得AGV的下一个状态，并将其发送给AGV运行，获取AGV运行过程中的数据，计算奖励值；接着储存当前状态、动作、奖励值和下一个状态到记忆库中，从记忆库中取样并使用深度强化学习DQN网络模型中的评估网络和目标网络分别计算当前状态和下一状态的所有值函数，使用梯度下降、均方差损失函数计算损失，并将评估网络参数更新到目标网络；最后根据AGV运行情况判断当前的PID是否为最终状态，结束PID参数的调整。本发明的方法不仅适用于所有生产环境，还能提高AGV投入使用的工作效率。