一种基于多智能体强化学习的车联网频谱共享方法

    公开(公告)号:CN113613207B

    公开(公告)日:2024-10-18

    申请号:CN202010538089.2

    申请日:2020-06-12

    Abstract: 本发明公开了一种基于多智能体强化学习的车联网频谱共享方法,包括建立车联网系统模型,基于马尔科夫决策过程建立强化学习中观测空间、行为空间、奖励设定的基础模型,然后将系统模型中的车辆链路视为智能体,利用强化学习SAC(Soft Actor‑critic)思想设计频谱共享方法。本发明的设计方案能够以合作的方式实现车联网中车辆与车辆(Vehicle‑to‑Vehicle,V2V)链路和车联与路旁基础设施(Vehicle‑to‑Roadside Infrastructure,V2I)链路的频谱共享,保证最大化V2I链路的信道容量和性能和V2V链路载荷的成功传输概率性能。

    一种中继物联网场景下的联合调度方法

    公开(公告)号:CN118524415A

    公开(公告)日:2024-08-20

    申请号:CN202410623704.8

    申请日:2024-05-20

    Abstract: 本发明公开了一种中继物联网场景下的联合调度方法。所述方法包括:设置所述中继物联网场景所需参数;联合采样与更新过程;采用指数型信息年龄模型;求解无差错情况下针对不同情形的平均信息年龄表达式。采用本发明的调度策略能够有效降低中继物联网场景中公共控制中心处的平均信息年龄,有效地提升系统的信息实时传输性能。

    一种基于领导力排名和节点相似度的社区检测方法

    公开(公告)号:CN118282892A

    公开(公告)日:2024-07-02

    申请号:CN202410363824.9

    申请日:2024-03-27

    Abstract: 本发明提供了一种基于领导力排名和节点相似度的社区检测方法,包括基于领导力模型对无向加权网络中的节点进行领导者排名,得到领导力分值与领导力排名;基于改进的节点相似度与领导力分值确定节点间影响力;通过基于领导力排名和节点间影响力对标签传播方法的节点更新顺序和标签更新规则进行改进,将无向加权网络划分成若干非重叠的初始社区;基于平均度值筛选出小型社区,然后基于模块度增加的贪心策略,将初始社区进行合并,从而获得最终社区检测结果。本发明针对无向加权网络进行社区划分,不仅提高了社区划分的稳定性,同时也提高了社区划分质量。

    一种动态能量收集下的时严下行无线传输方法

    公开(公告)号:CN118158703A

    公开(公告)日:2024-06-07

    申请号:CN202410258448.7

    申请日:2024-03-07

    Abstract: 本发明提供了一种动态能量收集下的时严下行无线传输方法,包括确定马尔可夫决策过程的相关参数,确定动态能量收集及时限约束下的无限时域平均网络开销指标,确定上述马尔可夫决策过程的类周期性,进而通过价值迭代方法确定各时隙下行传输的最优动作。本发明对动态能量收集下时严无线网络的平均网络开销指标提出了一种优化策略,为动态能量收集下时严无线网络下行传输的有效实施提供帮助。

    一种基于深度强化学习的信息年龄可感知资源分配方法

    公开(公告)号:CN114630299B

    公开(公告)日:2024-04-23

    申请号:CN202210228341.9

    申请日:2022-03-08

    Abstract: 本发明公开了一种基于深度强化学习的信息年龄可感知资源分配方法,具体为:输入车联网环境,基站初始化自身actor网络和critic网络的参数;在当前时隙中,基站先为环境中所有的车辆用户对分配信道和发射功率;车辆用户和蜂窝用户完成通信后,所有链路的剩余负载量和信息年龄更新;基站得到环境反馈的奖励后,感知并收集环境当前状态信息,同时缓冲池存储此时隙产生的样本数据;当样本数量足够时,根据置信域策略优化算法中的迭代公式来更新actor网络和critic网络的参数,更新完成后清空缓冲池;当达到训练回合的最大步数时,重新输入车联网环境开始下一回合。本发明通过最小化平均信息年龄和平均功耗来支持车联网中各类实时性敏感应用。

    一种无人机辅助的传感器节点充电方法

    公开(公告)号:CN113991785B

    公开(公告)日:2024-04-05

    申请号:CN202111280688.X

    申请日:2021-11-01

    Abstract: 本发明公开了一种无人机辅助的传感器节点充电方法。所述方法包括:设置所述无人机辅助充电场景所需参数;基于马尔可夫决策过程建立传感器节点和物联网环境交互的基础模型,获取传感器节点的状态空间、行为空间和奖励;求解无人机最优充电调度策略;根据求解结果派遣无人机对传感器节点进行充电。采用本发明的方法以保障各传感器节点始终具备足够电量进行物联网任务作为前提,能够在恶劣的物联网环境下实现无人机的最优充电调度。

    一种工业物联网场景的信息年龄估计方法

    公开(公告)号:CN116896509A

    公开(公告)日:2023-10-17

    申请号:CN202310621310.4

    申请日:2023-05-29

    Abstract: 本发明提供了一种工业物联网场景的信息年龄估计方法,包括提出基于年龄的非自适应接入策略、构建外层二维平稳马尔可夫链模型用于刻画单个设备在各个周期开始时刻实时信息年龄及最新生成数据包本地年龄的状态转移过程,构建内层一维吸收马尔可夫链模型用于刻画单个设备在任一超帧内各个时隙间传输状态的转移过程,然后运用牛顿迭代算法对此双层模型进行求解,进而对系统平均信息年龄进行估计。本发明可以对不同网络参数下的系统平均信息年龄进行较为准确的估计,因此能够为工业物联网场景下的传输策略设计及信息年龄优化研究提供帮助。

    一种基于数字孪生的车联网边缘计算卸载多目标决策方法

    公开(公告)号:CN116782296A

    公开(公告)日:2023-09-19

    申请号:CN202310611900.9

    申请日:2023-05-29

    Abstract: 本发明公开了一种基于数字孪生的车联网边缘计算卸载多目标决策方法,具体为:输入基于数字孪生的边缘车联网环境,初始化执行者‑评估者网络参数和基于分解的多目标进化算法参数;执行卸载动作,得到奖励向量和完成标志,存入缓存区;根据缓存区数据拟合值函数,基于当前价值函数与折扣回报计算优势估计;运用基于分解的多目标进化算法和奖励向量更新解集和适应度值,返回帕累托最优解作为执行者网络学习参数;以截断法约束策略更新,计算损失函数并更新策略;完成标志为真时,重置边缘车联网环境开始下一回合。本发明适用于在未知动态的边缘车联网环境下通过数字孪生辅助的智能边缘卸载决策实现最小化时延、能耗和云计算成本之间的长期权衡。

    一种用于改善周期性数据信息年龄的自适应随机接入方法

    公开(公告)号:CN116546654A

    公开(公告)日:2023-08-04

    申请号:CN202310609716.0

    申请日:2023-05-26

    Abstract: 本发明公开了一种用于改善周期性数据信息年龄的自适应随机接入方法,各设备使用应答与重传机制接入信道发送周期生成的最新数据包,仅在对应实时信息年龄达到一定门限值且当前数据包未被成功传输时方为活跃状态,以一定概率发送数据包,否则保持静默。任一设备在各时隙开始时刻可根据信道反馈获得当前时隙的活跃设备数,并根据活跃设备数自适应调整各活跃设备的发送概率。本发明通过构建互相耦合的双层马尔可夫链模型推导此随机接入方法下的系统平均信息年龄,并计算最优信息年龄门限值,有效优化了周期性数据的信息年龄。

    一种非独立同分布数据场景下的联邦学习隐私保护方法

    公开(公告)号:CN115374479A

    公开(公告)日:2022-11-22

    申请号:CN202211081816.2

    申请日:2022-08-31

    Abstract: 本发明属于隐私保护技术领域,具体涉及一种非独立同分布数据场景下的联邦学习隐私保护方法。本发明将联邦学习模型与生成对抗神经网络相结合,解决了联邦学习在非独立同分布场景下训练难收敛的问题,降低联邦学习框架内各终端的通信损耗,可以在联邦各终端算力较低的情况下提高机器利用率和学习效率。本发明所使用的ViTGAN生成对抗网络生成的近似真实数据分布的虚假数据,能够满足本地用户的隐私保证,加快联邦学习的收敛速度和降低训练通信负载,提升联邦学习训练好的全局模型和测试精度,同时解决联邦学习易受到推理攻击的问题。

Patent Agency Ranking