公开(公告)号：CN113328938A

公开(公告)日：2021-08-31

申请号：CN202110572098.8

申请日：2021-05-25

Applicant: 电子科技大学

Inventor： 张梓强 ,  苏俭

IPC: H04L12/721 ,  G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 本发明属于人工智能技术领域，具体的说是涉及一种基于深度强化学习的网络自主智能管控方法。本发明首先构建网络拓扑，然后引入CNN、LSTM层和延迟更新策略构建基于DDPG强化学习算法的路由决策模型，最后对基于深度强化学习的路由决策模型进行迭代训练。在每次迭代训练中，智能体根据测量得到的网络状态和神经网络获得输出的动作，即一组链路权重，并根据链路权重使用最短路径算法计算业务的路由。根据路由计算结果，智能体下发流表，并获取业务的端到端时延和丢包率计算此次迭代的奖励值。算法具有良好的收敛性，能够有效降低业务的端到端时延和丢包率。

公开(公告)号：CN113114582B

公开(公告)日：2022-05-17

申请号：CN202110572087.X

申请日：2021-05-25

Applicant: 电子科技大学

Inventor： 张梓强 ,  苏俭

IPC: H04L47/127 ,  H04L47/2416 ,  H04L45/12 ,  H04L45/243 ,  H04L45/247 ,  H04L45/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于人工智能技术领域，具体的说是涉及一种基于机器学习的链路拥塞故障预测及网络自主管控方法，首先周期性的测量的链路性能参数，并分析不同类型业务流的QoS需求特点，提出了基于效用值的QoS路由质量度量方法，量化了路由对于业务QoS的满足程度，建立了路由质量空间到数值空间的映射。然后，基于LSTM神经网络对链路流量进行预测，并根据流量预测的结果进行链路拥塞风险判断和预防。最后，基于效用值和流量预测设计了QoS路由引擎，该引擎可以根据网络的实时资源状态、业务效用函数和链路拥塞判断结果计算业务的QoS路由，为多种不同类型网络业务流提供QoS路由计算服务，同时起到控制网络拥塞的作用。

公开(公告)号：CN113328938B

公开(公告)日：2022-02-08

申请号：CN202110572098.8

申请日：2021-05-25

Applicant: 电子科技大学

Inventor： 张梓强 ,  苏俭

IPC: H04L45/12 ,  G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 本发明属于人工智能技术领域，具体的说是涉及一种基于深度强化学习的网络自主智能管控方法。本发明首先构建网络拓扑，然后引入CNN、LSTM层和延迟更新策略构建基于DDPG强化学习算法的路由决策模型，最后对基于深度强化学习的路由决策模型进行迭代训练。在每次迭代训练中，智能体根据测量得到的网络状态和神经网络获得输出的动作，即一组链路权重，并根据链路权重使用最短路径算法计算业务的路由。根据路由计算结果，智能体下发流表，并获取业务的端到端时延和丢包率计算此次迭代的奖励值。算法具有良好的收敛性，能够有效降低业务的端到端时延和丢包率。

公开(公告)号：CN113114582A

公开(公告)日：2021-07-13

申请号：CN202110572087.X

申请日：2021-05-25

Applicant: 电子科技大学

Inventor： 张梓强 ,  苏俭

IPC: H04L12/801 ,  H04L12/853 ,  H04L12/707 ,  H04L12/721 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于人工智能技术领域，具体的说是涉及一种基于机器学习的链路拥塞故障预测及网络自主管控方法，首先周期性的测量的链路性能参数，并分析不同类型业务流的QoS需求特点，提出了基于效用值的QoS路由质量度量方法，量化了路由对于业务QoS的满足程度，建立了路由质量空间到数值空间的映射。然后，基于LSTM神经网络对链路流量进行预测，并根据流量预测的结果进行链路拥塞风险判断和预防。最后，基于效用值和流量预测设计了QoS路由引擎，该引擎可以根据网络的实时资源状态、业务效用函数和链路拥塞判断结果计算业务的QoS路由，为多种不同类型网络业务流提供QoS路由计算服务，同时起到控制网络拥塞的作用。