-
公开(公告)号：CN115473561B
公开(公告)日：2023-06-30
申请号：CN202110654258.3
申请日：2021-06-11
Applicant: 北京邮电大学 , 中国电子信息产业集团有限公司第六研究所
Abstract: 本发明公开一种基于协作Q学习的分布式卫星网络智能负载均衡方法，包括：所述方法将CollaQ强化学习算法应用于卫星通信，其数据传输过程为：1).地面将数据包发送到卫星，接收卫星将数据包缓存在队列中；2).卫星根据所提出的算法将数据包发送到相邻卫星；3).目的卫星将信息发送回地面上的目的地。每个轨道上分布的卫星数相等，将轨道数定义为m，每个轨道中的卫星数为n。相邻轨道之间的经度差为360°/m，同一轨道中相邻卫星之间的经度差为180°/n。在本发明中CollaQ算法在处理环境中复杂的Agent拓扑时具有良好的收敛性，并且可以很好地应对系统规模的变化。CollaQ的性能要优于DDPG，并且网络中的最大链路利用率相对较小，这意味着它可以更有效地实现负载平衡。
-
公开(公告)号：CN115473561A
公开(公告)日：2022-12-13
申请号：CN202110654258.3
申请日：2021-06-11
Applicant: 北京邮电大学 , 中国电子信息产业集团有限公司第六研究所
Abstract: 本发明公开一种基于协作Q学习的分布式卫星网络智能负载均衡方法，包括：所述方法将Co l l aQ强化学习算法应用于卫星通信，其数据传输过程为：1).地面将数据包发送到卫星，接收卫星将数据包缓存在队列中；2).卫星根据所提出的算法将数据包发送到相邻卫星；3).目的卫星将信息发送回地面上的目的地。每个轨道上分布的卫星数相等，将轨道数定义为m，每个轨道中的卫星数为n。相邻轨道之间的经度差为360°/m，同一轨道中相邻卫星之间的经度差为180°/n。在本发明中Co l l aQ算法在处理环境中复杂的Agent拓扑时具有良好的收敛性，并且可以很好地应对系统规模的变化。Col laQ的性能要优于DDPG，并且网络中的最大链路利用率相对较小，这意味着它可以更有效地实现负载平衡。
-
Patent Agency Ranking
公开(公告)号：CN111835407B
公开(公告)日：2021-05-28
申请号：CN202010659543.X
申请日：2020-07-09
Applicant: 北京邮电大学 , 西藏高驰科技信息产业集团有限责任公司
IPC: H04L12/851 , H04B7/185
Abstract: 本发明提供了一种低轨卫星网络流量优化方法和装置，涉及卫星通信的技术领域，包括：获取步骤，利用目标低轨卫星的确定性策略网络采集当前环境观察数据，并确定出确定性策略网络的奖励；确定步骤，基于当前环境观察数据，确定目标低轨卫星的执行动作，并获取目标低轨卫星在执行完成执行动作之后采集到的目标环境观察数据；构建步骤，利用当前环境观察数据、执行动作、目标环境观察数据和确定性策略网络的奖励，构建数据库；优化步骤，利用地面站的Q网络调用数据库中的目标数据，以使地面站的Q网络利用目标数据进行训练，并利用完成训练的Q网络生成流量优化策略，解决了现有的低轨卫星网络流量优化方法存在优化能力较弱且适用性较差的技术问题。
-
公开(公告)号：CN111835407A
公开(公告)日：2020-10-27
申请号：CN202010659543.X
申请日：2020-07-09
Applicant: 北京邮电大学 , 西藏高驰科技信息产业集团有限责任公司
IPC: H04B7/185 , H04L12/851
Abstract: 本发明提供了一种低轨卫星网络流量优化方法和装置，涉及卫星通信的技术领域，包括：获取步骤，利用目标低轨卫星的确定性策略网络采集当前环境观察数据，并确定出确定性策略网络的奖励；确定步骤，基于当前环境观察数据，确定目标低轨卫星的执行动作，并获取目标低轨卫星在执行完成执行动作之后采集到的目标环境观察数据；构建步骤，利用当前环境观察数据、执行动作、目标环境观察数据和确定性策略网络的奖励，构建数据库；优化步骤，利用地面站的Q网络调用数据库中的目标数据，以使地面站的Q网络利用目标数据进行训练，并利用完成训练的Q网络生成流量优化策略，解决了现有的低轨卫星网络流量优化方法存在优化能力较弱且适用性较差的技术问题。
-
公开(公告)号：CN110956662A
公开(公告)日：2020-04-03
申请号：CN201911212714.8
申请日：2019-11-29
Applicant: 北京邮电大学
Abstract: 本发明提供了载体避障方法、装置及电子设备，其中，载体避障方法包括：获取载体运行方向上的深度图像；基于上述深度图像计算载体到障碍物的距离；判断上述距离是否大于预设阈值；如果否，则将深度图像输入至预先训练好的运动决策模型，以使运动决策模型输出载体的运动调节值；获取运动调节值，根据该运动调节值控制载体避开障碍物，以到达目标位置。本申请缓解了复杂环境下载体避障效果不理想的技术问题，提高了载体避障的效果。
-
公开(公告)号：CN112383482B
公开(公告)日：2021-10-08
申请号：CN202011282235.6
申请日：2020-11-16
Applicant: 北京邮电大学
IPC: H04L12/751 , H04L12/721
Abstract: 本发明提供了一种基于数据平面的动态Q值路由计算方法及装置，涉及通信的技术领域，包括：先获取本交换机上用于与其他交换机相连的端口；然后在本交换机启动并初始化之后，收到相邻端发送的数据包，并确定数据包类型；最后基于数据包类型和应用在数据平面上的Q‑learning算法，更新本交换机的Q值。本发明中的Q‑learning算法可以通过与网络环境的不断交互从而学习到最优路策略，能够动态调整路由策略，实现对网络状态的最优响应。本发明中的数据平面是可编程数据平面，可以实现在数据平面直接进行路由计算，避免了与控制平面的交互，提高了对网络状态的响应速度。
-
公开(公告)号：CN112383482A
公开(公告)日：2021-02-19
申请号：CN202011282235.6
申请日：2020-11-16
Applicant: 北京邮电大学
IPC: H04L12/751 , H04L12/721
Abstract: 本发明提供了一种基于数据平面的动态Q值路由计算方法及装置，涉及通信的技术领域，包括：先获取本交换机上用于与其他交换机相连的端口；然后在本交换机启动并初始化之后，收到相邻端发送的数据包，并确定数据包类型；最后基于数据包类型和应用在数据平面上的Q‑learning算法，更新本交换机的Q值。本发明中的Q‑learning算法可以通过与网络环境的不断交互从而学习到最优路策略，能够动态调整路由策略，实现对网络状态的最优响应。本发明中的数据平面是可编程数据平面，可以实现在数据平面直接进行路由计算，避免了与控制平面的交互，提高了对网络状态的响应速度。
-
-
-
-
-
-
Search Results
7
records
(took 0.077 seconds)
