基于QMIX的分布式网内拥塞控制方法

    公开(公告)号:CN113315715A

    公开(公告)日:2021-08-27

    申请号:CN202110370309.X

    申请日:2021-04-07

    Abstract: 本发明涉及一种基于QMIX的分布式网内拥塞控制方法,本发明通过直接将相关方法部署在网内的三层交换机中,进行数据包的调度与拥塞控制来克服上述传统技术的缺点,同时进一步提升了拥塞控制效果。本发明受到近年来,多智能体系统控制领域中的分布式强化学习方法的启发,采用多智能体强化学习方法中的集中式训练,分布式执行的算法框架,将QMIX算法直接在交换机内部实现,在快速响应毫秒级流量波动的同时,又做到了各交换机之间的协调控制,从而达到稳定的全局最优系统状态,进行网络拥塞控制。利用日趋成熟的多智能体深度强化学习方法来解决传统网络拥塞问题。

    一种网络资源管理方法、装置、设备及可读存储介质

    公开(公告)号:CN118382108B

    公开(公告)日:2024-11-08

    申请号:CN202410822351.4

    申请日:2024-06-25

    Abstract: 本申请提供了一种网络资源管理方法、装置、设备及可读存储介质,包括:基于初始网络配置策略将目标交换机的传输网络划分为多个网络切片;获取目标交换机上待传输的网络数据包的带宽需求量、非占用状态的网络切片的带宽量及未来网络状态;根据这三个数据判断是否需要更新初始网络配置策略;若需要,则将待传输数据带宽需求量、非占用状态的网络切片的带宽量及未来网络状态输入到训练完成的网络策略生成模型中生成网络配置更新策略;网络配置更新策略包括网络切片配置策略以及数据传输策略;基于网络配置更新策略重新划分网络切片;将数据传输策略发送给目标网络切片。本申请提高了网络切片的灵活性和适应性,并提高了交换机的传输性能。

    一种中断延迟容忍的异构网络动态负载均衡方法和装置

    公开(公告)号:CN118433112B

    公开(公告)日:2024-09-24

    申请号:CN202410889822.3

    申请日:2024-07-04

    Abstract: 本发明提供了一种中断延迟容忍的异构网络动态负载均衡方法和装置,涉及通信的技术领域,该方法中,无人节点可以通过存储‑携带‑转发的机制进行间接通信,也可以缓存数据包,所以即使数据包TTL到期也不必从源节点重传,同时存储‑携带‑转发机制的特性极大地提高了数据传输效率,并且,在利用强化学习算法对网络参数进行优化时,将所有无人节点在相邻时刻的积压队列长度之差、所有无人节点成功投递数据包的排队时延和所有无人节点在当前时刻投递数据包的成功率与智能体的奖励建立联系,以使集群网络学习如何在确保高投递率、低时延的前提下使得整个网络负载均衡的策略,提升异构无人平台集群网络的整体运行效率,从而保证了用户服务质量。

    异构无人平台集群的自适应稳态组网方法及装置

    公开(公告)号:CN118400788B

    公开(公告)日:2024-09-06

    申请号:CN202410832884.0

    申请日:2024-06-26

    Abstract: 本发明提供了一种异构无人平台集群的自适应稳态组网方法及装置,本发明能够获取异构无人平台集群的当前节点位置信息和当前节点能量信息;基于当前节点位置信息和预设的密度聚类算法,对异构无人平台集群进行聚类处理;基于当前节点能量信息,对聚类结果中的每个簇进行簇头选举,得到当前组网结果;周期性获取当前组网结果下异构无人平台集群的观测数据;基于观测数据,采用强化学习策略对当前组网结果进行优化,得到优化后的组网结果。这样基于密度聚类算法对异构无人平台集群进行分簇,采用基于强化学习的动态维护策略动态调整簇结构,使得异构无人平台集群网络具有更好的适应性和动态性,从而提高了异构无人平台集群网络结构的稳定性和可靠性。

    一种中断延迟容忍的异构网络动态负载均衡方法和装置

    公开(公告)号:CN118433112A

    公开(公告)日:2024-08-02

    申请号:CN202410889822.3

    申请日:2024-07-04

    Abstract: 本发明提供了一种中断延迟容忍的异构网络动态负载均衡方法和装置,涉及通信的技术领域,该方法中,无人节点可以通过存储‑携带‑转发的机制进行间接通信,也可以缓存数据包,所以即使数据包TTL到期也不必从源节点重传,同时存储‑携带‑转发机制的特性极大地提高了数据传输效率,并且,在利用强化学习算法对网络参数进行优化时,将所有无人节点在相邻时刻的积压队列长度之差、所有无人节点成功投递数据包的排队时延和所有无人节点在当前时刻投递数据包的成功率与智能体的奖励建立联系,以使集群网络学习如何在确保高投递率、低时延的前提下使得整个网络负载均衡的策略,提升异构无人平台集群网络的整体运行效率,从而保证了用户服务质量。

    基于协作Q学习的分布式卫星网络智能负载均衡方法

    公开(公告)号:CN115473561A

    公开(公告)日:2022-12-13

    申请号:CN202110654258.3

    申请日:2021-06-11

    Abstract: 本发明公开一种基于协作Q学习的分布式卫星网络智能负载均衡方法,包括:所述方法将Co l l aQ强化学习算法应用于卫星通信,其数据传输过程为:1).地面将数据包发送到卫星,接收卫星将数据包缓存在队列中;2).卫星根据所提出的算法将数据包发送到相邻卫星;3).目的卫星将信息发送回地面上的目的地。每个轨道上分布的卫星数相等,将轨道数定义为m,每个轨道中的卫星数为n。相邻轨道之间的经度差为360°/m,同一轨道中相邻卫星之间的经度差为180°/n。在本发明中Co l l aQ算法在处理环境中复杂的Agent拓扑时具有良好的收敛性,并且可以很好地应对系统规模的变化。Col laQ的性能要优于DDPG,并且网络中的最大链路利用率相对较小,这意味着它可以更有效地实现负载平衡。

Patent Agency Ranking