一种基于动态缓存的主动队列管理方法

    公开(公告)号:CN118400336A

    公开(公告)日:2024-07-26

    申请号:CN202410866258.3

    申请日:2024-07-01

    Abstract: 本发明公开了一种基于动态缓存的主动队列管理方法,通过针对流量队列执行动态缓存策略;然后构建DQN环境,学习得到最优丢包策略;构建DQN智能体,采用#imgabs0#策略来选择能够使总奖励函数最大化的动作;最后构建由策略网络和价值网络构成的深度确定性策略梯度网络,并采用经验回放机制训练深度确定性策略梯度网络,得到动态缓存的主动队列管理模型,利用动态缓存的主动队列管理模型,以当前流量队列为输入,得到缓存内流量队列管理策略。本发明采用的缓存容量更低,能够有效降低路由器等转发设备的硬件成本,实现更低的平均传输时延和平均时延抖动,具有降本增效的优势。

    一种基于深度强化学习的智能网络路径优选方法与系统

    公开(公告)号:CN116527567B

    公开(公告)日:2023-09-12

    申请号:CN202310788324.5

    申请日:2023-06-30

    Abstract: 本发明公开了一种基于深度强化学习的智能网络路径优选方法与系统,包括:采集目标网络的原始数据,计算目标网络的每条可执行路径的状态信息,构建深度强化学习模型,获取目标网络当前时刻的网络状态、执行最优路径动作、下一时刻的网络状态、当前奖励,并存储在经验回放池中,对深度强化学习模型进行迭代训练和参数更新,获得目标网络的最优路径,下发至目标网络的交换机设备中进行路径安装,本发明所设计的方法提高了智能体提取显著奖励经验的概率,加快了智能体学习最优策略的速度,算法的收敛速度显著提高,有效提高了网络吞吐量,降低了端到端时延和丢包率。

    一种基于修正因子的网络流量灰色预测方法

    公开(公告)号:CN114666230A

    公开(公告)日:2022-06-24

    申请号:CN202210568365.9

    申请日:2022-05-24

    Abstract: 本发明公开了一种基于修正因子的网络流量灰色预测方法,基于构建好的网络拓扑结构和它的原始流量序列,对原始流量序列进行归一化,构造并初始化修正因子的缓冲算子函数,对归一化流量序列中的每个元素施加缓冲算子函数,获得预处理流量序列,之后对预处理流量序列实施灰色预测,得到当前流量预测序列,计算归一化流量序列与预测流量序列的均方误差,对修正因子的值进行迭代更新,获得最优修正因子以及该修正因子对应的预测流量序列,对预测流量序列进行反归一化,得到最终预测流量序列,本发明提出的一种基于修正因子的网络流量灰色预测方法,在保证流量预测算法复杂度较低的前提下,实现对复杂网络流量的高精度预测。

    一种面向差异化QoS保障的链路汇聚节点缓存方法

    公开(公告)号:CN118400337B

    公开(公告)日:2024-11-29

    申请号:CN202410866271.9

    申请日:2024-07-01

    Abstract: 本发明公开了一种面向差异化QoS保障的链路汇聚节点缓存方法,首先将进行差异化业务分类;然后构建训练数据集,之后构建DQN缓存调整神经网络,将汇聚节点的缓存空间作为环境,将缓当前队列长度、出队速率、当前排队时延作为状态空间,定义动作空间为增大或减小缓存容量,设置总奖励,选择当前状态下奖励函数最大化的动作,训练DQN缓存调整神经网络:主Q网络用于评估当前策略,计算当前状态下动作的Q值与目标Q值之间的损失,不断更新主Q网络,得到面向差异化QoS保障的链路汇聚节点缓存模型;输出缓存策略。本法发明能有效提升主动队列管理算法的传输时延、吞吐量、丢包率的性能,从而为差异化业务的QoS保障提供了技术支撑。

    一种基于强化学习的网络流量灰色预测方法

    公开(公告)号:CN116599860B

    公开(公告)日:2023-10-13

    申请号:CN202310843127.9

    申请日:2023-07-11

    Abstract: 本发明提出一种基于强化学习的网络流量灰色预测方法,包括如下步骤:首先采用公开网络流量数据集,并截取部分公开数据集作为待预测流量序列;然后构建基于GM(1,1)灰色预测的强化学习模型:基于每一个时间步长,智能体获得当前环境状态,并根据策略函数生成动作,环境在执行动作后,将当前环境状态更新,同时将动作的奖励值反馈给智能体,智能体根据更新的环境状态和奖励值生成下一个动作,直到达到预设迭代次数,获得基于GM(1,1)的强化学习模型。最后利用强化学习模型输出最终预测结果。本发明将强化学习的决策能力与灰色模型的小样本、定量预测优势相结合,旨在提高传统灰色预测模型的预测精度。

    一种指控网络异构链路汇聚流量的端到端时延分析方法

    公开(公告)号:CN116566903B

    公开(公告)日:2023-09-26

    申请号:CN202310815822.4

    申请日:2023-07-05

    Abstract: 本发明公开了一种指控网络异构链路汇聚流量的端到端时延分析方法,包括:将指挥控制网络中的时延敏感流量建模为MMPP流量,将指挥控制网络中的带宽敏感流量和尽最大努力交付流量建模为fBm流量,分别推导三种流量的随机到达曲线和有界函数,计算状态时变的通信链路为异构链路汇聚流量提供的总服务速率平均值,分别推导异构链路汇聚节点为三种流量提供的随机服务曲线,基于随机到达曲线和随机服务曲线,推导三种流量端到端时延,并进行性能分析;本发明所设计的方法解决了复杂多维、瞬时涌现的流量到达过程和接续传输、状态时变的系统服务过程导致端到端时延难以精准评估的问题。

    一种基于强化学习的网络流量灰色预测方法

    公开(公告)号:CN116599860A

    公开(公告)日:2023-08-15

    申请号:CN202310843127.9

    申请日:2023-07-11

    Abstract: 本发明提出一种基于强化学习的网络流量灰色预测方法,包括如下步骤:首先采用公开网络流量数据集,并截取部分公开数据集作为待预测流量序列;然后构建基于GM(1,1)灰色预测的强化学习模型:基于每一个时间步长,智能体获得当前环境状态,并根据策略函数生成动作,环境在执行动作后,将当前环境状态更新,同时将动作的奖励值反馈给智能体,智能体根据更新的环境状态和奖励值生成下一个动作,直到达到预设迭代次数,获得基于GM(1,1)的强化学习模型。最后利用强化学习模型输出最终预测结果。本发明将强化学习的决策能力与灰色模型的小样本、定量预测优势相结合,旨在提高传统灰色预测模型的预测精度。

    一种基于深度强化学习的智能网络路径优选方法与系统

    公开(公告)号:CN116527567A

    公开(公告)日:2023-08-01

    申请号:CN202310788324.5

    申请日:2023-06-30

    Abstract: 本发明公开了一种基于深度强化学习的智能网络路径优选方法与系统,包括:采集目标网络的原始数据,计算目标网络的每条可执行路径的状态信息,构建深度强化学习模型,获取目标网络当前时刻的网络状态、执行最优路径动作、下一时刻的网络状态、当前奖励,并存储在经验回放池中,对深度强化学习模型进行迭代训练和参数更新,获得目标网络的最优路径,下发至目标网络的交换机设备中进行路径安装,本发明所设计的方法提高了智能体提取显著奖励经验的概率,加快了智能体学习最优策略的速度,算法的收敛速度显著提高,有效提高了网络吞吐量,降低了端到端时延和丢包率。

    基于注意力机制和图卷积神经网络的网络流量预测方法

    公开(公告)号:CN113852492A

    公开(公告)日:2021-12-28

    申请号:CN202111019800.4

    申请日:2021-09-01

    Abstract: 本发明公开了一种基于注意力机制和图卷积神经网络的网络流量预测方法,首先构建基于注意力机制和图卷积神经网络的AT‑GCN模型;AT‑GCN模型包括两个图卷积层、一个全连接层和一个引入注意力机制的门控递归单元;对原始的网络流量进行数据预处理,得到符合AT‑GCN模型输入的数据序列;将中处理后的网络流量序列输入图卷积层,获取网络流量数据序列的空间特征;将处理后的网络流量序列和得到的空间特征向量输入到门控递归单元中,获取网络流量序列的时间特征;最后经过一个全连接层得到最终的预测结果。本发明将图卷积神经网络和门控递归单元结合起来,分别获取网络流量的时间和空间特征,并且为了提高预测的精度,引入了注意力机制,在时空预测任务中表现很好。

Patent Agency Ranking