公开(公告)号：CN113052372A

公开(公告)日：2021-06-29

申请号：CN202110283966.0

申请日：2021-03-17

Applicant: 哈尔滨工程大学

Inventor： 赵玉新 ,  刘延龙 ,  邓雄 ,  杨硕 ,  郝日栩 ,  赵恒德 ,  杜登辉 ,  成小会

IPC: G06Q10/04 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于深度强化学习的动态AUV追踪路径规划方法，通过引入深度强化学习算法，运用航路模型来处理AUV的路径追踪问题。首先对目标和AUV状态分析，判断并选择采用哪种航路进行追踪，建立三种航路模型，用训练好的模型对AUV下一状态进行预测。采用纯方位最小二乘估计法对检测到的目标信号进行运动要素解算，获得目标信息。将目标和AUV运动情况作为状态输入，AUV下一状态的动作和航向作为输出，建立状态——动作映射策略。根据任务要求，选择奖赏函数，AUV每段时间所采取的决策都会获得相应评价。本发明结合深度学习和强化学习的优点，将深度强化学习算法用在AUV路径追踪上，实现了对动态AUV的追踪路径规划。

公开(公告)号：CN113052372B

公开(公告)日：2022-08-02

申请号：CN202110283966.0

申请日：2021-03-17

Applicant: 哈尔滨工程大学

Inventor： 赵玉新 ,  刘延龙 ,  邓雄 ,  杨硕 ,  郝日栩 ,  赵恒德 ,  杜登辉 ,  成小会

IPC: G06Q10/04 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于深度强化学习的动态AUV追踪路径规划方法，通过引入深度强化学习算法，运用航路模型来处理AUV的路径追踪问题。首先对目标和AUV状态分析，判断并选择采用哪种航路进行追踪，建立三种航路模型，用训练好的模型对AUV下一状态进行预测。采用纯方位最小二乘估计法对检测到的目标信号进行运动要素解算，获得目标信息。将目标和AUV运动情况作为状态输入，AUV下一状态的动作和航向作为输出，建立状态——动作映射策略。根据任务要求，选择奖赏函数，AUV每段时间所采取的决策都会获得相应评价。本发明结合深度学习和强化学习的优点，将深度强化学习算法用在AUV路径追踪上，实现了对动态AUV的追踪路径规划。

公开(公告)号：CN116520708A

公开(公告)日：2023-08-01

申请号：CN202310704347.3

申请日：2023-06-14

Applicant: 哈尔滨工程大学

Inventor： 邓雄 ,  李虎 ,  杨春旺 ,  杜登辉 ,  何健新 ,  江鑫 ,  苏海洋

IPC: G05B13/04

Abstract: 本发明提供强化学习的移动观测平台自适应观测路径规划方法，涉及强化学习技术领域。所述强化学习的移动观测平台自适应观测路径规划方法，包括以下步骤：S1，数据预处理；将耦合环境数值预报系统输出的原始数据用全局归一化处理，便于设置奖赏函数；S2，环境奖赏函数设计；根据区域海洋范围内的温度梯度值设置奖赏函数；根据实际情况，在区域海洋环境中放置障碍物，移动观测平台设置避障约束，与障碍物产生碰撞时会惩罚扣分；S3，环境状态设计；将海洋环境时间梯度场作为时间梯度决策的依据，选择不同的多智能体算法，进行仿真实验并进行比较，本发明具有海洋环境要素分析预报精度高的优点。