公开(公告)号：CN112051863A

公开(公告)日：2020-12-08

申请号：CN202011020526.8

申请日：2020-09-25

Applicant: 南京大学

Inventor： 俞扬 ,  詹德川 ,  周志华 ,  贾俊华 ,  袁雷 ,  张云天 ,  罗凡明 ,  付聪 ,  庞竟成 ,  尹皓

IPC: G05D1/10

Abstract: 本发明公开一种无人机自主反侦察及躲避敌方攻击的方法，基于Unity3D构建模拟器，构建敌我双方攻击的对战场景；通过模拟器预留的人类玩家接口，与规则写好的少量对手进行有限回合对抗，收集无人机躲避敌方反侦察及攻击的解决方案的样本数据；利用收集到的人类玩家逃跑数据进行学习，通过强化学习中的模仿学习进行学习，得到预训练模型；基于预训练模型，通过强化学习算法PPO实现在模拟器中的逃跑能力学习；将训练好的无人机躲避侦察及攻击模型与人类玩家进行测试并迁移到现实环境中。本发明提出的无人机自主躲避攻击的解决方案，在现实场景中应用意义重大，可以在成本较低的前提下训练出较好的无人机躲避攻击的策略，能够实际应用于无人机飞行控制领域。

公开(公告)号：CN112131660B

公开(公告)日：2024-07-26

申请号：CN202010944781.5

申请日：2020-09-10

Applicant: 南京大学

Inventor： 俞扬 ,  詹德川 ,  周志华 ,  袁雷 ,  张云天 ,  付聪 ,  庞竟成 ,  罗凡明 ,  贾俊华

IPC: G06F30/15 ,  G06F30/27 ,  G06F30/28 ,  G06F18/214 ,  G06N3/092 ,  G06N3/0464

Abstract: 本发明公开一种基于多智能体强化学习的无人机集群协同学习方法，构造基于空气动力学的环境模拟器；每个无人机获取并维护本机的局部观测值；作为student，每个无人机获取并维护来自队友的建议观测值；作为teacher，为其他无人机给出指导值；基于本机局部观测值与从队友获取的建议观测值执行动作策略，获取奖励并转移到下一状态；基于MADDPG思想进行训练，直到值网络与策略网络收敛；执行阶段以分布式的方式进行，即每个无人机基于局部观测值和队友提供的建议观测值，通过动作策略执行。本发明可以在成本较低的前提下实现无人机集群之间观测值的互补，实现无人机单独自主决策，解决“主从”结构带来的通信问题。

公开(公告)号：CN112131660A

公开(公告)日：2020-12-25

申请号：CN202010944781.5

申请日：2020-09-10

Applicant: 南京大学

Inventor： 俞扬 ,  詹德川 ,  周志华 ,  袁雷 ,  张云天 ,  付聪 ,  庞竟成 ,  罗凡明 ,  贾俊华

IPC: G06F30/15 ,  G06F30/27 ,  G06F30/28 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于多智能体强化学习的无人机集群协同学习方法，构造基于空气动力学的环境模拟器；每个无人机获取并维护本机的局部观测值；作为student，每个无人机获取并维护来自队友的建议观测值；作为teacher，为其他无人机给出指导值；基于本机局部观测值与从队友获取的建议观测值执行动作策略，获取奖励并转移到下一状态；基于MADDPG思想进行训练，直到值网络与策略网络收敛；执行阶段以分布式的方式进行，即每个无人机基于局部观测值和队友提供的建议观测值，通过动作策略执行。本发明可以在成本较低的前提下实现无人机集群之间观测值的互补，实现无人机单独自主决策，解决“主从”结构带来的通信问题。