一种基于信息年龄的时隙ALOHA自适应接入方法

    公开(公告)号:CN119997065A

    公开(公告)日:2025-05-13

    申请号:CN202510260914.X

    申请日:2025-03-06

    Abstract: 本发明在多包接收机制下提出了一种允许年龄增益阈值及发送概率随时隙动态变化的时隙ALOHA自适应接入方法。所述方法给定年龄增益初始分布,并在各时隙执行以下步骤:各时隙初接入点根据所估计的年龄增益分布,以最大化当前时隙AoI降低量期望值为目标设置发送概率及年龄增益阈值;各时隙内实时年龄增益大于等于所设定阈值的用户以所设定发送概率接入信道,若该时隙内同时传输的用户数小于等于接收端的包接受能力γ,则传输成功,否则全部失败;各时隙末接入点记录该时隙同时传输用户数的观测信息;各时隙末接入点根据该时隙初所估计的年龄增益分布、该时隙内的观测信息及数据到达概率,基于贝叶斯更新理论对下一时隙初的年龄增益分布进行估计。

    基于部分可观测信息的无人机集群多智能体多域抗干扰方法

    公开(公告)号:CN115454141B

    公开(公告)日:2025-04-04

    申请号:CN202211261459.8

    申请日:2022-10-14

    Abstract: 本发明公开了一种基于部分可观测信息的无人机集群多智能体多域抗干扰方法,该方法利用各智能体的部分观测环境信息,通过长短期记忆网络保留历史经验数据,输入各智能体的深度循环Q网络进行动作值函数拟合,采用ε‑greedy算法选择最大输出Q值对应的信道和功率,再经过不断独立训练各智能体的深度循环Q网络,更新Q值分布,最终学习到可适应未知干扰场景下实现通信传输能耗最小化的无人机信道和发射功率最优决策。本发明针对无人机集群网络分别处于扫频干扰和马尔科夫干扰两种场景下,利用部分可观测信息的历史经验数据,从频谱域和功率域实现有效多智能体抗干扰通信;相较于基于多智能体深度Q学习的对比方案,所提方案能够在环境信息部分可观测的情况下更高效地降低无人机集群网络的长期通信传输能耗。

    基于多智能体深度强化学习的异构车联网用户关联方法

    公开(公告)号:CN114449482B

    公开(公告)日:2024-05-14

    申请号:CN202210242124.5

    申请日:2022-03-11

    Abstract: 本发明公开了一种基于多智能体深度强化学习的异构车联网用户关联方法,该方法先将问题建模成部分可观察马尔可夫决策过程,再采用分解团队值函数的思想,具体包括建立集中式训练分布式执行框架,将团队值函数与各个用户值函数利用求和连接起来,以达到隐性训练用户值函数的目的;接着本发明亦借鉴经验回放以及目标网络机制,使用ε‑greedy策略进行动作的探索与选择,利用循环神经网络储存历史信息,并且选择Huber损失函数来计算损失同时进行梯度下降,最终学习到异构车联网用户的关联策略。本发明在异构车联网环境下,相较于多智能体独立深度Q学习算法和其它传统算法,可以更加有效地同时提高能量效率和降低切换开销。

    一种基于分布式边缘智能的车联网计算卸载方法及系统

    公开(公告)号:CN117369899A

    公开(公告)日:2024-01-09

    申请号:CN202311320757.4

    申请日:2023-10-12

    Abstract: 本发明公开了一种基于分布式边缘智能的车联网计算卸载方法及系统,该方法为:训练基于分布式边缘智能的车联网计算卸载模型:车联网计算卸载模型中,每个车辆作为一个智能体,智能体观测到的车辆位置和待处理的计算任务大小作为观测空间,智能体能够选择的计算卸载决策的所有组合作为动作空间,奖励值函数为与所有智能体的平均卸载时延有关的目标函数;车辆在行驶途中,将相应智能体的本地观测信息输入车联网计算卸载模型,根据车联网计算卸载模型输出的Q值选取当前状态对应的奖励值最大的动作,得到最优的计算卸载决策。所述系统包括车联网计算卸载模型训练模块、计算卸载决策优化模块。本发明实现了边缘计算卸载系统长期平均卸载时延的最小化。

    基于图注意力的车联网多智能体边缘计算内容缓存决策方法

    公开(公告)号:CN116634396A

    公开(公告)日:2023-08-22

    申请号:CN202310605019.8

    申请日:2023-05-26

    Abstract: 本发明公开了一种基于图注意力的车联网多智能体边缘计算内容缓存决策方法,具体为:输入边缘车联网环境,将网络拓扑建模为图结构,初始化各车辆用户作为智能体维护的Q网络参数;各车辆用户提出任务请求,在完成计算后决策任务内容是否缓存;各车辆用户根据自身对环境的观测做出缓存决策;对车辆用户的观测值编码,生成节点特征,卷积层根据节点的邻接矩阵整合其局部区域内的节点特征生成隐藏特征向量;以优化系统计算时延为目标更新各智能体Q网络参数。本发明利用以多头注意力为卷积核的图卷积整合各车辆用户局部区域内的观测信息,进一步考虑多智能体通过合作学习完成计算任务的内容缓存,实现系统卸载计算时延最小化。

    一种传输时限通信场景下的认知用户自适应接入方法

    公开(公告)号:CN115551110A

    公开(公告)日:2022-12-30

    申请号:CN202211265989.X

    申请日:2022-10-13

    Abstract: 本发明公开了一种传输时限通信场景下的认知用户自适应接入方法。本方案中,认知用户均可独立地对信道进行观测从而获得当前时隙对活跃认知用户数量的最新估计,在授权用户未占用信道时,认知用户根据对网络观测得到的活跃认知用户数量置信状态分布,在多包接收机制下确定使得当前期望奖励最大化的接入概率。对于认知用户,其数据包到达概率符合二项分布,具有严格的传输时限,系统使用应答与重传机制,接收者具有多包接收能力(即能同时成功接收多个数据包)。一种传输时限通信场景下的认知用户自适应接入方法同时给出了接入概率计算方法,在保证较低计算复杂度的同时,可以使得网络可靠性接近理论最优可靠性。

    基于多智能体近端策略的车联网分布式边缘缓存决策方法

    公开(公告)号:CN115277845A

    公开(公告)日:2022-11-01

    申请号:CN202210867388.X

    申请日:2022-07-22

    Abstract: 本发明公开了一种基于多智能体近端策略的车联网分布式边缘缓存决策方法,具体为:输入车辆边缘网络环境,初始化执行者‑评估者网络参数;各车辆用户观测自身坐标及各边缘接入点剩余存储空间;各车辆用户根据策略选择边缘接入点,执行边缘缓存动作;各车辆用户计算时延相关奖励,根据广义优势估计方法计算回报与优势;根据收集的动作、观测和奖励信息,各车辆用户通过共享的策略网络进行集中式训练,以截断方法约束策略的更新,计算执行者‑评估者网络的损失函数且更新共享策略,实现分布式车联网边缘缓存决策。本发明使得车联网用户中每个车辆用户智能体能够充分利用自身观测信息,协同分配系统边缘缓存资源,从而降低缓存内容传输时延。

Patent Agency Ranking