公开(公告)号：CN112383482A

公开(公告)日：2021-02-19

申请号：CN202011282235.6

申请日：2020-11-16

Applicant: 北京邮电大学

Inventor： 姚海鹏 ,  秦泽宇 ,  买天乐 ,  忻向军 ,  何文吉 ,  郭建立 ,  吴巍 ,  刘全占

IPC: H04L12/751 ,  H04L12/721

Abstract: 本发明提供了一种基于数据平面的动态Q值路由计算方法及装置，涉及通信的技术领域，包括：先获取本交换机上用于与其他交换机相连的端口；然后在本交换机启动并初始化之后，收到相邻端发送的数据包，并确定数据包类型；最后基于数据包类型和应用在数据平面上的Q‑learning算法，更新本交换机的Q值。本发明中的Q‑learning算法可以通过与网络环境的不断交互从而学习到最优路策略，能够动态调整路由策略，实现对网络状态的最优响应。本发明中的数据平面是可编程数据平面，可以实现在数据平面直接进行路由计算，避免了与控制平面的交互，提高了对网络状态的响应速度。

公开(公告)号：CN115329985A

公开(公告)日：2022-11-11

申请号：CN202211087378.0

申请日：2022-09-07

Applicant: 北京邮电大学

Inventor： 姚海鹏 ,  许佳琪 ,  吴巍 ,  张尼 ,  买天乐 ,  袁菀迈 ,  刘全占 ,  忻向军 ,  张茹

IPC: G06N20/00 ,  H04L67/10

Abstract: 本发明提供了一种无人集群智能模型训练方法、装置和电子设备，涉及通信的技术领域，该方法将无人集群的训练划分为簇内集中式联邦学习和簇间分布式联邦学习两个阶段，簇内集中式学习时，簇头作为模型所有者来和簇内节点进行参数传递，并进行模型聚合，从而缓解了传统的集中式联邦学习方式存在的通信拥塞和计算瓶颈的技术问题；并且，簇间分布式学习时，由于只有邻居簇头间进行参数传输和模型聚合，所以与传统分布式联邦学习相比，本发明还能有效地减少通信能耗。

公开(公告)号：CN114942653B

公开(公告)日：2022-10-25

申请号：CN202210881139.6

申请日：2022-07-26

Applicant: 北京邮电大学

Inventor： 姚海鹏 ,  黄山 ,  吴巍 ,  买天乐 ,  忻向军 ,  张尼 ,  袁菀迈 ,  刘全占 ,  韩宝磊 ,  吴迪

IPC: G05D1/10

Abstract: 本发明提供了一种无人集群飞行策略的确定方法、装置和电子设备，涉及通信的技术领域，包括：获取目标区域内无人集群的位置信息、所有地面用户的位置信息和正常地面基站的通信吞吐量；无人集群包括多个无人机基站；基于每个无人机基站的位置信息和所有地面用户的位置信息，确定每个无人机基站的状态信息；利用目标混合网络模型对所有无人机基站的状态信息和正常地面基站的通信吞吐量进行处理，得到每个无人机基站的动作信息，以确定无人集群的飞行策略。目标混合网络模型为每个无人机基站都设有相应的单智能体网络模型，避免了环境非平稳的问题；目标混合网络模型基于联合动作价值函数进行训练，解决了动作空间维度爆炸的技术问题。

公开(公告)号：CN114942653A

公开(公告)日：2022-08-26

申请号：CN202210881139.6

申请日：2022-07-26

Applicant: 北京邮电大学

Inventor： 姚海鹏 ,  黄山 ,  吴巍 ,  买天乐 ,  忻向军 ,  张尼 ,  袁菀迈 ,  刘全占 ,  韩宝磊 ,  吴迪

IPC: G05D1/10

Abstract: 本发明提供了一种无人集群飞行策略的确定方法、装置和电子设备，涉及通信的技术领域，包括：获取目标区域内无人集群的位置信息、所有地面用户的位置信息和正常地面基站的通信吞吐量；无人集群包括多个无人机基站；基于每个无人机基站的位置信息和所有地面用户的位置信息，确定每个无人机基站的状态信息；利用目标混合网络模型对所有无人机基站的状态信息和正常地面基站的通信吞吐量进行处理，得到每个无人机基站的动作信息，以确定无人集群的飞行策略。目标混合网络模型为每个无人机基站都设有相应的单智能体网络模型，避免了环境非平稳的问题；目标混合网络模型基于联合动作价值函数进行训练，解决了动作空间维度爆炸的技术问题。

公开(公告)号：CN115329985B

公开(公告)日：2023-10-27

申请号：CN202211087378.0

申请日：2022-09-07

Applicant: 北京邮电大学

Inventor： 姚海鹏 ,  许佳琪 ,  吴巍 ,  张尼 ,  买天乐 ,  袁菀迈 ,  刘全占 ,  忻向军 ,  张茹

IPC: G06N20/00 ,  H04L67/10

Abstract: 本发明提供了一种无人集群智能模型训练方法、装置和电子设备，涉及通信的技术领域，该方法将无人集群的训练划分为簇内集中式联邦学习和簇间分布式联邦学习两个阶段，簇内集中式学习时，簇头作为模型所有者来和簇内节点进行参数传递，并进行模型聚合，从而缓解了传统的集中式联邦学习方式存在的通信拥塞和计算瓶颈的技术问题；并且，簇间分布式学习时，由于只有邻居簇头间进行参数传输和模型聚合，所以与传统分布式联邦学习相比，本发明还能有效地减少通信能耗。

公开(公告)号：CN112383482B

公开(公告)日：2021-10-08

申请号：CN202011282235.6

申请日：2020-11-16

Applicant: 北京邮电大学

Inventor： 姚海鹏 ,  秦泽宇 ,  买天乐 ,  忻向军 ,  何文吉 ,  郭建立 ,  吴巍 ,  刘全占

IPC: H04L12/751 ,  H04L12/721

Abstract: 本发明提供了一种基于数据平面的动态Q值路由计算方法及装置，涉及通信的技术领域，包括：先获取本交换机上用于与其他交换机相连的端口；然后在本交换机启动并初始化之后，收到相邻端发送的数据包，并确定数据包类型；最后基于数据包类型和应用在数据平面上的Q‑learning算法，更新本交换机的Q值。本发明中的Q‑learning算法可以通过与网络环境的不断交互从而学习到最优路策略，能够动态调整路由策略，实现对网络状态的最优响应。本发明中的数据平面是可编程数据平面，可以实现在数据平面直接进行路由计算，避免了与控制平面的交互，提高了对网络状态的响应速度。