基于联邦多智能体强化学习的车联网边缘资源分配方法

    公开(公告)号:CN114980123B

    公开(公告)日:2025-04-25

    申请号:CN202210395450.X

    申请日:2022-04-15

    Abstract: 本发明公开了一种基于联邦多智能体强化学习的车联网边缘资源分配方法,具体为:输入车联网环境,初始化智能体本地Q网络和联邦网络参数,并对优化问题建模;根据智能体能否获得奖励分为α、β两类,在当前时隙内两类车辆智能体分别观测本地状态并输入Q网络的;对Q网络输出进行加密处理,并通过联邦网络输出两类车辆智能体的联合动作决策;之后α车辆智能体得到系统反馈的全局奖励,同时缓存池存储当前时隙的样本数据;当样本数量足够时,α型和β型车辆智能体分别更新本地Q网络以及联邦网络的参数;当前训练回合结束后,重置车联网环境,开始下一个回合的训练。本发明在隐私保护的前提下提升了车联网连通性,同时降低了切换开销以及能量损耗。

    一种时限约束下的能量收集认知无线电网络接入方法

    公开(公告)号:CN114172599B

    公开(公告)日:2024-09-27

    申请号:CN202111530900.3

    申请日:2021-12-15

    Abstract: 本发明提供了一种时限约束下的能量收集认知无线电网络接入方法,包括确定部分观测马尔可夫决策过程的相关参数,确定次用户吞吐率指标,进而利用Q函数马尔可夫决策过程(Q‑functions Markov Decision Process,QMDP)算法确定感知接入动作。本发明旨在提供一种时限约束下的能量收集认知无线电网络接入方法,以对固定传输时限约束下多信道能量收集认知无线电网络中次用户的感知接入策略进行优化,提高了通信场景下传输的吞吐率。

    一种基于元强化学习的无人机自组网跨层路由方法

    公开(公告)号:CN117880171A

    公开(公告)日:2024-04-12

    申请号:CN202410051626.9

    申请日:2024-01-12

    Abstract: 本发明公开了一种基于元强化学习的无人机自组网自适应跨层路由方法,具体为:针对无人机自组织网在不同负载环境下的跨层路由问题,在训练阶段,无人机智能体与环境交互获得多个相关任务,输入至推理网络来捕获与当前任务相关的潜在上下文隐变量,再将其整合至每个智能体的策略之中以捕获当前任务的特征,并通过在上下文的后验分布来调节策略来进行自适应。本方法使用互信息网络来生成潜在上下文变量的先验分布,通过约束潜在变量和上下文之间的互信息,使得潜在变量可以包含对任务适应至关重要的基本上下文信息,从而减轻对训练任务过拟合的影响。为进一步探索各智能体最优的跨层路由策略,本方法通过将所有智能体的Q值输入至中央策略网络来获取系统Q值,从而学习到智能体之间最优的协作式跨层路由策略。相较于传统方法,本发明缩短了无人机自组网的数据包路由时间、降低了整个网络丢包率同时提升了整个网络吞吐量,为无人机网络提供了通信保障。

    一种基于图强化学习的移动自组网多智能体跨层路由方法

    公开(公告)号:CN117500014A

    公开(公告)日:2024-02-02

    申请号:CN202311408709.0

    申请日:2023-10-27

    Abstract: 本发明公开了一种基于图强化学习的移动自组网多智能体跨层路由方法,该方法为:首先初始化移动自组网的环境及其参数,将各个节点建模为智能体,建立MDP模型;然后智能体采用图注意力卷积的方式对邻域内各智能体观测编码的特征向量进行聚合;接着智能体计算选择的动作到达下一跳节点的时延,收到即时奖励,转移至下一个状态获得新的观测;使用DGN网络,每个智能体通过聚合邻居节点的信息,计算自己的动作价值函数Q值并输出;重复进行DGN网络更新,直至完成一次数据包传输任务,重置环境;采用经验回放和目标网络方法进行训练,直至系统平均奖励值收敛。本发明能够适应移动自组网高速变化的拓扑结构,平均传输时延低、速度快、稳定性高。

    一种大规模物联网场景下的信息年龄估计方法

    公开(公告)号:CN117279005A

    公开(公告)日:2023-12-22

    申请号:CN202310643216.9

    申请日:2023-06-01

    Abstract: 本发明提供了一种大规模物联网场景下的信息年龄估计方法,包括构建描述每个发射节点的状态演变和最终状态吸收态马尔科夫链,估计每个节点成功传输概率及其空间分布,构建以接收节点的周期初始时刻实时AoI为状态的平稳马尔科夫链,推导信息年龄空间分布和平均信息年龄,进而估计系统的平均信息年龄。本发明可以对不同网络参数下的系统平均信息年龄进行较为准确的估计,因此能够为大规模物联网场景下的传输策略设计及信息年龄优化研究提供帮助。

    一种多包接收机制下的CSMA协作退避方法

    公开(公告)号:CN113613340B

    公开(公告)日:2023-08-01

    申请号:CN202010535842.2

    申请日:2020-06-12

    Abstract: 本发明公开了一种多包接收机制下的CSMA协作退避方法,包括确定同时通信设备数最优值的计算方式,确定基于泊松分布的待通信设备数的计算方式,确定能够使系统吞吐率最大化的最优传输概率。本发明可以对一系列all‑or‑nothing MPR参数以及网络参数下IEEE 802.11网络的吞吐率与时延性能指标进行优化,具有有效性、鲁棒性以及相较于方法的性能优越性。

Patent Agency Ranking