基于队列状态的异构链路汇聚节点队列管理方法及系统

    公开(公告)号:CN116566906B

    公开(公告)日:2023-11-03

    申请号:CN202310809767.8

    申请日:2023-07-04

    Abstract: 本发明公开了一种基于队列状态的异构链路汇聚节点队列管理方法及系统,涉及路由器队列管理和拥塞控制技术领域,用以增强指挥控制网络下异构链路汇聚节点队列管理对队列状态的敏感度,进而增强主动队列管理的控制力度,利用平均队列长度表征队列变化的长期状态,利用队列长度变化率表征队列变化的瞬时状态,并且将两者相结合构建了队列状态判定模型,并给出了突发容忍、突发抑制、衰减容忍、衰减抑制、队列平稳五种队列状态的判定依据;在此基础上,结合队列状态判定结果设计具有自适应调整能力的丢弃概率函数,进行主动队列管理,实现对网络流量服务质量的可靠保障。

    一种基于深度强化学习的智能网络路径优选方法与系统

    公开(公告)号:CN116527567B

    公开(公告)日:2023-09-12

    申请号:CN202310788324.5

    申请日:2023-06-30

    Abstract: 本发明公开了一种基于深度强化学习的智能网络路径优选方法与系统,包括:采集目标网络的原始数据,计算目标网络的每条可执行路径的状态信息,构建深度强化学习模型,获取目标网络当前时刻的网络状态、执行最优路径动作、下一时刻的网络状态、当前奖励,并存储在经验回放池中,对深度强化学习模型进行迭代训练和参数更新,获得目标网络的最优路径,下发至目标网络的交换机设备中进行路径安装,本发明所设计的方法提高了智能体提取显著奖励经验的概率,加快了智能体学习最优策略的速度,算法的收敛速度显著提高,有效提高了网络吞吐量,降低了端到端时延和丢包率。

    基于队列状态的异构链路汇聚节点队列管理方法及系统

    公开(公告)号:CN116566906A

    公开(公告)日:2023-08-08

    申请号:CN202310809767.8

    申请日:2023-07-04

    Abstract: 本发明公开了一种基于队列状态的异构链路汇聚节点队列管理方法及系统,涉及路由器队列管理和拥塞控制技术领域,用以增强指挥控制网络下异构链路汇聚节点队列管理对队列状态的敏感度,进而增强主动队列管理的控制力度,利用平均队列长度表征队列变化的长期状态,利用队列长度变化率表征队列变化的瞬时状态,并且将两者相结合构建了队列状态判定模型,并给出了突发容忍、突发抑制、衰减容忍、衰减抑制、队列平稳五种队列状态的判定依据;在此基础上,结合队列状态判定结果设计具有自适应调整能力的丢弃概率函数,进行主动队列管理,实现对网络流量服务质量的可靠保障。

    一种基于链路状态感知增强的路径智能优选方法及系统

    公开(公告)号:CN119011463A

    公开(公告)日:2024-11-22

    申请号:CN202411480526.4

    申请日:2024-10-23

    Abstract: 本发明公开了一种基于链路状态感知增强的路径智能优选方法及系统,本发明基于AC架构的PPO算法构建智能路径决策模型,并引入GRU网络和GAT网络分别捕获由多个链路状态组成的网络状态序列的时空相关特性,同时,使用注意力机制感知网络状态序列的重要特征,通过基于深度强化学习的训练机制生成最优路径选择策略;根据最优路径选择策略生成流表,下发至目标网络的交换机设备中,进行路径安装和业务数据转发;本发明算法相较于现有路由算法,在网络拓扑结构动态变化时,可精准实现路由决策,在提升网络服务性能以及适应动态拓扑结构变化方面具有优越性。

    一种基于强化学习的网络流量灰色预测方法

    公开(公告)号:CN116599860B

    公开(公告)日:2023-10-13

    申请号:CN202310843127.9

    申请日:2023-07-11

    Abstract: 本发明提出一种基于强化学习的网络流量灰色预测方法,包括如下步骤:首先采用公开网络流量数据集,并截取部分公开数据集作为待预测流量序列;然后构建基于GM(1,1)灰色预测的强化学习模型:基于每一个时间步长,智能体获得当前环境状态,并根据策略函数生成动作,环境在执行动作后,将当前环境状态更新,同时将动作的奖励值反馈给智能体,智能体根据更新的环境状态和奖励值生成下一个动作,直到达到预设迭代次数,获得基于GM(1,1)的强化学习模型。最后利用强化学习模型输出最终预测结果。本发明将强化学习的决策能力与灰色模型的小样本、定量预测优势相结合,旨在提高传统灰色预测模型的预测精度。

    一种基于强化学习的网络流量灰色预测方法

    公开(公告)号:CN116599860A

    公开(公告)日:2023-08-15

    申请号:CN202310843127.9

    申请日:2023-07-11

    Abstract: 本发明提出一种基于强化学习的网络流量灰色预测方法,包括如下步骤:首先采用公开网络流量数据集,并截取部分公开数据集作为待预测流量序列;然后构建基于GM(1,1)灰色预测的强化学习模型:基于每一个时间步长,智能体获得当前环境状态,并根据策略函数生成动作,环境在执行动作后,将当前环境状态更新,同时将动作的奖励值反馈给智能体,智能体根据更新的环境状态和奖励值生成下一个动作,直到达到预设迭代次数,获得基于GM(1,1)的强化学习模型。最后利用强化学习模型输出最终预测结果。本发明将强化学习的决策能力与灰色模型的小样本、定量预测优势相结合,旨在提高传统灰色预测模型的预测精度。

    一种基于深度强化学习的智能网络路径优选方法与系统

    公开(公告)号:CN116527567A

    公开(公告)日:2023-08-01

    申请号:CN202310788324.5

    申请日:2023-06-30

    Abstract: 本发明公开了一种基于深度强化学习的智能网络路径优选方法与系统,包括:采集目标网络的原始数据,计算目标网络的每条可执行路径的状态信息,构建深度强化学习模型,获取目标网络当前时刻的网络状态、执行最优路径动作、下一时刻的网络状态、当前奖励,并存储在经验回放池中,对深度强化学习模型进行迭代训练和参数更新,获得目标网络的最优路径,下发至目标网络的交换机设备中进行路径安装,本发明所设计的方法提高了智能体提取显著奖励经验的概率,加快了智能体学习最优策略的速度,算法的收敛速度显著提高,有效提高了网络吞吐量,降低了端到端时延和丢包率。

Patent Agency Ranking