-
公开(公告)号：CN115037667B
公开(公告)日：2022-11-08
申请号：CN202210953069.0
申请日：2022-08-10
Applicant: 北京邮电大学
IPC: H04L45/00 , H04L45/121 , H04L47/12 , G06N3/04
Abstract: 本发明提供了一种细粒度网络态势感知与源路由智能优化方法与装置，涉及通信的技术领域，包括：获取目标网络内所有网络设备的状态信息和待传送数据包的属性信息，利用深度强化学习算法对状态信息和属性信息进行处理，得到待传送数据包的路由路径。深度强化学习算法中，每条可选路由路径的奖励为可选路由路径上每个网络设备的奖励之和，且每个网络设备的奖励为网络设备的节点时延与目标网络的最大链路利用率的加权和的相反数，因此，本发明方法可以在最小化最大链路利用率和路径时延的情况下，计算出最优路由路径，从而不会导致大量数据流堆积在同一路径，避免出现网络拥塞的问题，保证了数据包传输的及时性，进而提升了整体网络传输性能。
-
公开(公告)号：CN112769594A
公开(公告)日：2021-05-07
申请号：CN202011470782.7
申请日：2020-12-14
Applicant: 北京邮电大学 , 中交信通网络科技有限公司
IPC: H04L12/24 , H04L12/801 , G06N20/00
Abstract: 本发明公开了一种基于多智能体强化学习的网内服务功能部署方法，包括以下步骤：S1、每个参与者分别更新策略π的参数；S2、每个评论家分别更新动作Q值参数；S3、定义θ＝{θ1,θ2,....θN}为N个agent(actor)的参数，相应的π＝{π1,π2,....πN}分别表示其策略；S4、对于在SFC部署过程中的用户，将第i个agent的累计预期奖励的策略梯度定义；S5、每个agent的Qi是相互独立进行训练学习的，其更新方法可以表示为：S6、定义来表示第i个agent的策略对第j个agent策略的函数近似，它的近似代价是一个带有熵正则化器的对数代价函数。本发明能够综合分布式和集中式方法的优点，既能够快速反应用户需求，保护用户隐私，提高用户服务体验。又能够考虑服务提供商运营成本，促使网络负载均衡，提高网络资源利用率。
-
公开(公告)号：CN113645589A
公开(公告)日：2021-11-12
申请号：CN202110774836.7
申请日：2021-07-09
Applicant: 北京邮电大学 , 中国电子信息产业集团有限公司第六研究所
Abstract: 本发明公开一种基于反事实策略梯度的无人机集群路由计算方法，包括采用一种COMA动态自适应的强化学习算法，所述COMA算法采用了“集中式训练‑分布式执行”的混合架构。能够有效针对网络节点动态性高、网内流量波动性大的路由场景，COMA算法能够在网络平均生存时间与数据包传输成功率之间形成有效的权衡，进而实现高效而稳定的智能路由策略；能够更好地动态调正路由策略，实现对网络状态的全局最优响应。关于数据包将所选择的区域中的任意一个随机节点作为下一跳传输节点的设计，该设计不仅解决了多智能体环境下动作空间较大的问题，还提高了算法的稳定性，一定程度上减少了节点移动性对训练造成的干扰。
-
公开(公告)号：CN113315715A
公开(公告)日：2021-08-27
申请号：CN202110370309.X
申请日：2021-04-07
Applicant: 北京邮电大学
IPC: H04L12/801
Abstract: 本发明涉及一种基于QMIX的分布式网内拥塞控制方法，本发明通过直接将相关方法部署在网内的三层交换机中，进行数据包的调度与拥塞控制来克服上述传统技术的缺点，同时进一步提升了拥塞控制效果。本发明受到近年来，多智能体系统控制领域中的分布式强化学习方法的启发，采用多智能体强化学习方法中的集中式训练，分布式执行的算法框架，将QMIX算法直接在交换机内部实现，在快速响应毫秒级流量波动的同时，又做到了各交换机之间的协调控制，从而达到稳定的全局最优系统状态，进行网络拥塞控制。利用日趋成熟的多智能体深度强化学习方法来解决传统网络拥塞问题。
-
公开(公告)号：CN111988306A
公开(公告)日：2020-11-24
申请号：CN202010828239.3
申请日：2020-08-17
Applicant: 北京邮电大学 , 中交信通网络科技有限公司
IPC: H04L29/06
Abstract: 本发明提供了一种基于变分贝叶斯的网内DDoS攻击流量检测方法和系统，应用于交换机群，交换机群包括多个交换机，方法包括：获取流经每个交换机的流量数据；获取流量数据的多个目标特征向量；目标特征向量为可以判断流量数据是否为DDoS攻击流量的特征向量；基于多个目标特征向量，建立交换机群的高斯混合模型；高斯混合模型中的每一个高斯成分对应于一个目标特征向量的高斯分布；基于每个交换机的流量数据，利用变分贝叶斯推断对高斯混合模型进行参数估计，得到多个估计结果；一个交换机对应于一个估计结果；基于多个估计结果，判断流量数据是否为DDoS攻击流量。本发明缓解了现有技术中存在的内存效率低下的技术问题。
-
Patent Agency Ranking
公开(公告)号：CN115037667A
公开(公告)日：2022-09-09
申请号：CN202210953069.0
申请日：2022-08-10
Applicant: 北京邮电大学
IPC: H04L45/00 , H04L45/121 , H04L47/12 , G06N3/04
Abstract: 本发明提供了一种细粒度网络态势感知与源路由智能优化方法与装置，涉及通信的技术领域，包括：获取目标网络内所有网络设备的状态信息和待传送数据包的属性信息，利用深度强化学习算法对状态信息和属性信息进行处理，得到待传送数据包的路由路径。深度强化学习算法中，每条可选路由路径的奖励为可选路由路径上每个网络设备的奖励之和，且每个网络设备的奖励为网络设备的节点时延与目标网络的最大链路利用率的加权和的相反数，因此，本发明方法可以在最小化最大链路利用率和路径时延的情况下，计算出最优路由路径，从而不会导致大量数据流堆积在同一路径，避免出现网络拥塞的问题，保证了数据包传输的及时性，进而提升了整体网络传输性能。
-
公开(公告)号：CN111988306B
公开(公告)日：2021-08-24
申请号：CN202010828239.3
申请日：2020-08-17
Applicant: 北京邮电大学 , 中交信通网络科技有限公司
IPC: H04L29/06
Abstract: 本发明提供了一种基于变分贝叶斯的网内DDoS攻击流量检测方法和系统，应用于交换机群，交换机群包括多个交换机，方法包括：获取流经每个交换机的流量数据；获取流量数据的多个目标特征向量；目标特征向量为可以判断流量数据是否为DDoS攻击流量的特征向量；基于多个目标特征向量，建立交换机群的高斯混合模型；高斯混合模型中的每一个高斯成分对应于一个目标特征向量的高斯分布；基于每个交换机的流量数据，利用变分贝叶斯推断对高斯混合模型进行参数估计，得到多个估计结果；一个交换机对应于一个估计结果；基于多个估计结果，判断流量数据是否为DDoS攻击流量。本发明缓解了现有技术中存在的内存效率低下的技术问题。
-
公开(公告)号：CN113645589B
公开(公告)日：2024-05-17
申请号：CN202110774836.7
申请日：2021-07-09
Applicant: 北京邮电大学 , 中国电子信息产业集团有限公司第六研究所
Abstract: 本发明公开一种基于反事实策略梯度的无人机集群路由计算方法，包括采用一种COMA动态自适应的强化学习算法，所述COMA算法采用了“集中式训练‑分布式执行”的混合架构。能够有效针对网络节点动态性高、网内流量波动性大的路由场景，COMA算法能够在网络平均生存时间与数据包传输成功率之间形成有效的权衡，进而实现高效而稳定的智能路由策略；能够更好地动态调正路由策略，实现对网络状态的全局最优响应。关于数据包将所选择的区域中的任意一个随机节点作为下一跳传输节点的设计，该设计不仅解决了多智能体环境下动作空间较大的问题，还提高了算法的稳定性，一定程度上减少了节点移动性对训练造成的干扰。
-
公开(公告)号：CN113315715B
公开(公告)日：2024-01-05
申请号：CN202110370309.X
申请日：2021-04-07
Applicant: 北京邮电大学
IPC: H04L47/12
Abstract: 本发明涉及一种基于QMIX的分布式网内拥塞控制方法，本发明通过直接将相关方法部署在网内的三层交换机中，进行数据包的调度与拥塞控制来克服上述传统技术的缺点，同时进一步提升了拥塞控制效果。本发明受到近年来，多智能体系统控制领域中的分布式强化学习方法的启发，采用多智能体强化学习方法中的集中式训练，分布式执行的算法框架，将QMIX算法直接在交换机内部实现，在快速响应毫秒级流量波动的同时，又做到了各交换机之间的协调控制，从而达到稳定的全局最优系统状态，进行网络拥塞控制。利用日趋成熟的多智能体深度强化学习方法来解决传统网络拥塞问题。(56)对比文件高少华.基于深度强化学习的TCP拥塞控制机制研究.信息科技.2021,(第4期),全文.王亚东;张悦;陈延祥;张宇.命名数据网络中的一种主动拥塞控制机制研究.载人航天.2020,(第01期),全文.肖扬;吴家威;李鉴学;刘军.一种基于深度强化学习的动态路由算法.信息通信技术与政策.2020,(第09期),全文.
-
公开(公告)号：CN114189481A
公开(公告)日：2022-03-15
申请号：CN202111409558.1
申请日：2021-11-25
Applicant: 北京邮电大学 , 中国电子信息产业集团有限公司第六研究所
Abstract: 本发明公开一种基于深度强化学习的TSN流调度方法，其特征在于，包括消除在TSN交换机处的排队时延来用以完成时延敏感流的无等待传输，其中以对单播时间敏感流进行无等待调度的情况进行处理，TSN能够提供确定性时延、带宽保证等能力，同时降低了成本。时间敏感网络通过全网时钟同步、流量调度以及系统配置三种主要机制来实现确定性低时延保障。同时减少保护带的数量，并且将时间敏感流的传输都压缩在调度表的开始，因此有更多的带宽资源可以用于尽力而为流的传输。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.029 seconds)
