公开(公告)号：CN116416030A

公开(公告)日：2023-07-11

申请号：CN202310313411.5

申请日：2023-03-28

Applicant: 重庆邮电大学

Inventor： 王小洁 ,  李家梦 ,  宁兆龙 ,  宋清洋 ,  郭磊

IPC: G06Q30/0601 ,  G06Q10/04 ,  G06F30/27 ,  G06Q50/06 ,  G06F111/04 ,  G06F111/10

Abstract: 本发明请求保护一种基于多无人机辅助边缘计算的无线充电和任务调度方法，本发明设计了一种基于多任务深度强化学习的两阶段交替优化算法来联合调度移动设备和无人机的充电时间和计算任务并优化了无人机的轨迹。针对移动设备的时间分配和充电调度的优化问题，本发明设计了一种有效的启发式算法，并从理论上证明了最优解的存在性。针对无人机充电调度和轨迹设计的优化问题，本发明设计了一种基于多任务深度强化学习的算法来学习不同无人机的策略，并从理论上证明了该方法的复杂度是多项式时间。实验结果证明本发明在平均计算效率和平均计算比特数方面的有效性。

公开(公告)号：CN117119489A

公开(公告)日：2023-11-24

申请号：CN202311077525.0

申请日：2023-08-25

Applicant: 重庆邮电大学

Inventor： 王小洁 ,  李家梦 ,  冀宏婧 ,  易令 ,  吴宇 ,  宁兆龙

IPC: H04W24/02 ,  H04W24/06 ,  H04W4/40 ,  H04W4/50 ,  H04W16/18

Abstract: 本发明公开了一种基于多无人机辅助的无线供能网络的部署和资源优化方法，考虑到多无人机的有限覆盖范围和可穿戴设备的服务需求，提出均衡任务负载的聚类算法以确定候选悬停点位置，采用多智能体协同决策算法以获得无人机在用户集群间的服务调度决策，在用户集群中无人机进行用户时隙调度和无人机高度位置的调整。将用户时隙调度和无人机高度调整问题转化为受约束的马尔可夫决策过程，在拉格朗日原始对偶策略优化的基础上，采用嵌套的基于受约束的近似策略优化算法，由无人机决定调整高度的移动距离和当前覆盖范围内选择服务的可穿戴设备。仿真结果表明，与现有的两种深度强化学习算法相比，本发明的解决方案具有良好的服务完成率和节能性能。

公开(公告)号：CN116567546A

公开(公告)日：2023-08-08

申请号：CN202310750511.4

申请日：2023-06-25

Applicant: 重庆邮电大学

Inventor： 王小洁 ,  李晗雪 ,  冀宏婧 ,  熊炫睿 ,  李家梦 ,  宁兆龙

IPC: H04W4/029 ,  H04W4/40 ,  H04W84/18 ,  H04W24/06 ,  H04W24/02

Abstract: 本发明公开了一种基于无人机辅助无线供能网络的轨迹和资源分配方法，在考虑到满足无人机的移动性和安全性、基于智能传感设备服务质量和任务完成时间的约束条件，构建了系统能源效率最大化的多目标优化问题，并转化为无人机轨迹控制优化问题和无人机与智能传感设备关联的优化问题这两个子问题，解耦了无人机位置调整和智能传感设备关联决策变量。再通过使用受约束的多智能体深度强化学习和无人机辅助的智能传感设备关联分配方法分别完成无人机轨迹控制以及无人机与智能传感设备的关联分配，在获得最佳轨迹控制策略的同时，满足智能传感设备的服务质量和能耗约束。

公开(公告)号：CN118233926A

公开(公告)日：2024-06-21

申请号：CN202410286422.3

申请日：2024-03-13

Applicant: 重庆邮电大学

Inventor： 王小洁 ,  李家梦 ,  熊炫睿 ,  易令 ,  宁兆龙

IPC: H04W24/02 ,  H04B7/04 ,  H04B7/185 ,  H04B7/06 ,  H04B7/08 ,  G06N3/045 ,  G06N3/092

Abstract: 本发明请求保护一种无人机和IRS辅助无线充电边缘网络的能效优化方法。为提升系统的能量和数据传输效率，分别为充电和信息采集链路设计了IRS相移矩阵。此外，还构建了一个时间分配模型来满足无人机飞行、充电和数据采集约束以及物联网设备的能量采集和数据传输性能之间的权衡。考虑到无人机时间约束以及移动设备能量约束，制定了能效最大化问题。由于上述问题自然适用于动态马尔可夫决策过程公式，将其表述为相应的有限视距分散部分可观测马尔可夫决策过程。然后，提出一种基于多代理深度强化学习的轻量级在线调度算法，采用集中训练分步执行框架来应对动态的网络环境。本发明能够有效协调无人机、IRS和传感器的调度。

公开(公告)号：CN117119490A

公开(公告)日：2023-11-24

申请号：CN202311077526.5

申请日：2023-08-25

Applicant: 重庆邮电大学

Inventor： 王小洁 ,  李家梦 ,  宁兆龙 ,  易令 ,  吴宇

IPC: H04W24/02 ,  H04W24/06 ,  H04W84/18 ,  H04W4/40

Abstract: 本发明公开了一种基于多无人机辅助无线传感网络的能量传输和数据采集方法，本发明构建了最小化平均信息年龄问题，将其分解为两个子问题，将子问题1和2建模为两个耦合的多智能体随机合作博弈并表述为相应的分散的部分可观测的马尔可夫决策过程。采用基于多代理深度强化学习的分布式多无人机合作在线调度算法来获得上述两个博弈的平衡。具体的，为每个无人机设置了两个演员网络分别来学习子问题1和2的策略，并用一个评论家网络同时评估两个策略的动作值。为促进无人机之间的合作，本发明设计了一个混合网络来拟合局部动作值和全局动作值之间的关系。本发明为多无人机辅助无线传感网络的分布式能量传输和数据采集提供了一种新方法。