公开(公告)号：CN115454141B

公开(公告)日：2025-04-04

申请号：CN202211261459.8

申请日：2022-10-14

Applicant: 南京理工大学

Inventor： 刘梦泽 ,  单雯 ,  卢其然 ,  林艳 ,  张一晋 ,  邹骏 ,  吴志娟

IPC: G05D1/46 ,  G05D1/695 ,  G05D109/20

Abstract: 本发明公开了一种基于部分可观测信息的无人机集群多智能体多域抗干扰方法，该方法利用各智能体的部分观测环境信息，通过长短期记忆网络保留历史经验数据，输入各智能体的深度循环Q网络进行动作值函数拟合，采用ε‑greedy算法选择最大输出Q值对应的信道和功率，再经过不断独立训练各智能体的深度循环Q网络，更新Q值分布，最终学习到可适应未知干扰场景下实现通信传输能耗最小化的无人机信道和发射功率最优决策。本发明针对无人机集群网络分别处于扫频干扰和马尔科夫干扰两种场景下，利用部分可观测信息的历史经验数据，从频谱域和功率域实现有效多智能体抗干扰通信；相较于基于多智能体深度Q学习的对比方案，所提方案能够在环境信息部分可观测的情况下更高效地降低无人机集群网络的长期通信传输能耗。

公开(公告)号：CN115454141A

公开(公告)日：2022-12-09

申请号：CN202211261459.8

申请日：2022-10-14

Applicant: 南京理工大学

Inventor： 刘梦泽 ,  单雯 ,  卢其然 ,  林艳 ,  张一晋 ,  邹骏 ,  吴志娟

IPC: G05D1/10

Abstract: 本发明公开了一种基于部分可观测信息的无人机集群多智能体多域抗干扰方法，该方法利用各智能体的部分观测环境信息，通过长短期记忆网络保留历史经验数据，输入各智能体的深度循环Q网络进行动作值函数拟合，采用ε‑greedy算法选择最大输出Q值对应的信道和功率，再经过不断独立训练各智能体的深度循环Q网络，更新Q值分布，最终学习到可适应未知干扰场景下实现通信传输能耗最小化的无人机信道和发射功率最优决策。本发明针对无人机集群网络分别处于扫频干扰和马尔科夫干扰两种场景下，利用部分可观测信息的历史经验数据，从频谱域和功率域实现有效多智能体抗干扰通信；相较于基于多智能体深度Q学习的对比方案，所提方案能够在环境信息部分可观测的情况下更高效地降低无人机集群网络的长期通信传输能耗。