公开(公告)号：CN114003059A

公开(公告)日：2022-02-01

申请号：CN202111282488.8

申请日：2021-11-01

Applicant: 河海大学常州校区

Inventor： 高明生 ,  张晓璇

IPC: G05D1/10

Abstract: 本发明公开一种运动学约束条件下基于深度强化学习的UAV路径规划方法，具体步骤如下：S1：深度强化学习神经网络根据多个任务点以及静态障碍物的向量坐标得出最短路径；S2：无人机起飞后沿着最短路径飞行执行任务；S3：当探测到存在动态障碍物，无人机向基地发送信号，由超级计算机预测无人机接收信号时所在的位置；S4：根据动态障碍物以及剩余任务点的坐标使用深度强化学习神经网络输出得到新的飞行路径，并通过无线电将新的路径发送给无人机；S5：无人机沿着新的路径执行任务，执行完所有任务后最终返回基地。本发明提出了一种基于online和offline的框架，不仅解决了Q‑Learning中状态和动作都是高维的问题，而且在解决TSP问题的同时考虑运动学模型并避开动态障碍物。

公开(公告)号：CN114003059B

公开(公告)日：2024-04-16

申请号：CN202111282488.8

申请日：2021-11-01

Applicant: 河海大学常州校区

Inventor： 高明生 ,  张晓璇

IPC: G05D1/46 ,  G05D109/20

Abstract: 本发明公开一种运动学约束条件下基于深度强化学习的UAV路径规划方法，具体步骤如下：S1：深度强化学习神经网络根据多个任务点以及静态障碍物的向量坐标得出最短路径；S2：无人机起飞后沿着最短路径飞行执行任务；S3：当探测到存在动态障碍物，无人机向基地发送信号，由超级计算机预测无人机接收信号时所在的位置；S4：根据动态障碍物以及剩余任务点的坐标使用深度强化学习神经网络输出得到新的飞行路径，并通过无线电将新的路径发送给无人机；S5：无人机沿着新的路径执行任务，执行完所有任务后最终返回基地。本发明提出了一种基于online和offline的框架，不仅解决了Q‑Learning中状态和动作都是高维的问题，而且在解决TSP问题的同时考虑运动学模型并避开动态障碍物。

公开(公告)号：CN115314122A

公开(公告)日：2022-11-08

申请号：CN202210939541.5

申请日：2022-08-05

Applicant: 河海大学常州校区

Inventor： 高明生 ,  张晓璇

IPC: H04B13/02 ,  H04L5/00 ,  H04W4/38 ,  H04W28/06 ,  H04W74/08

Abstract: 本发明公开了一种路由驱动下相邻两跳水声链路的管道传输方法，包括步骤如下：S1：节点A1向节点B发起RTS信道接入请求；S2：节点B接收RTS信道接入请求后，给所有下行邻节点以及上行邻节点C响应CTS消息；S3：当收到节点B的CTS消息后，各个节点A按照命令发送数据给节点B；S4：节点B收到数据后生成新的数据包，然后将其分别发送给上行邻节点C和所有下行邻节点A；步骤S5：节点C机会地接收来自节点B的数据包，而邻节点A同时也收到数据包，进行ACK/NAK确定，完成信道差错控制。本发明减少网络中信道预约次数，且能降低水声传感器网络的端对端时延以及能量消耗，能从整体上提升水声传感器网络的性能。