公开(公告)号：CN117311952A

公开(公告)日：2023-12-29

申请号：CN202210699106.X

申请日：2022-06-20

Applicant: 复旦大学

Inventor： 柴洪峰 ,  吴杰 ,  侯鹏 ,  江宵汉

IPC: G06F9/50 ,  G06N20/00

Abstract: 本发明为MEC环境下的边缘服务器动态放置问题提供了一种基于深度强化学习的智能化解决方法。具体地，以现实环境中通信基站的地理上的位置分布、时间上的工作负载和现有边缘服务器的布局为深度强化学习的系统状态(State)输入，以边缘服务器的动态选址为动作(Action)，综合考虑网络、收益和成本等因素为奖励(Reward)，训练代理(Agent)能够根据当前状态自主确定最佳的边缘服务器放置动作。此外，为了充分反映系统状态在地理和时间上的特征，加快代理的学习速度和效率，基于热力图和灰度图的形式将系统状态转化为灰度热力图，从而将边缘服务器动态放置问题转化为计算视觉问题。

公开(公告)号：CN118211769A

公开(公告)日：2024-06-18

申请号：CN202211637200.9

申请日：2022-12-16

Applicant: 复旦大学

Inventor： 柴洪峰 ,  吴杰 ,  侯鹏 ,  刘森 ,  江宵汉

IPC: G06Q10/0631 ,  G06N3/045 ,  G06N3/08 ,  G06F9/50

Abstract: 本发明提供一种无人机边缘计算中基于联合深度强化学习的动态服务方法，该方法充分利用无人机之间的协作，将深度强化学习的决策能力和联邦学习的分布式训练能力结合，对无人机的本地模型及本地模型聚合生成的聚合模型进行训练，获取了具有最优服务策略的全局模型，从而实现无人机边缘计算网络中无人机动态切换服务类型，并为地面应用设备分配通信和计算资源的功能。本发明充分发挥了两种算法在无人机边缘计算中的优势，不仅在学习性能上非常接近集中式DRL，而且能够减少网络数据的传递，减轻中心服务器的训练压力。因此，本发明能够很好的结合集中式和全分布式的优点，非常适合计算能力和能源受限的无人机边缘计算场景中人工智能模型的部署和训练。

公开(公告)号：CN120013229A

公开(公告)日：2025-05-16

申请号：CN202510030512.0

申请日：2025-01-08

Applicant: 复旦大学

Inventor： 朱鸿斌 ,  侯鹏 ,  柴洪峰

IPC: G06Q10/0635 ,  G06N3/006 ,  G06N3/092 ,  G06F18/213 ,  G06Q20/40

Abstract: 本发明提供了一种基于强化学习的非法集资可疑主体识别方法及系统，包括信息梳理模块、数据分析模块、数据特征提取模块、数据特征处理模块、模型构建模块、模型选择模块、模型训练模块、算法选择模块、算法优化模块、风险识别模块以及预警模块。基于强化学习的非法集资可疑主体识别方法通过利用关键性的资金特征和数据，训练强化学习代理，使其能够精准识别出非法集资可疑主体，提高风险识别的准确性和效率，充分挖掘资金数据中的隐含信息，识别出传统规则模型和监督学习方法难以检测的异常模式和风险点。

公开(公告)号：CN118215077A

公开(公告)日：2024-06-18

申请号：CN202211622143.7

申请日：2022-12-16

Applicant: 复旦大学

Inventor： 柴洪峰 ,  吴杰 ,  江宵汉 ,  刘森 ,  侯鹏

IPC: H04W28/08 ,  H04W28/084 ,  G06N20/00

Abstract: 本发明提供一种基于深度强化学习的多类型无人机边缘计算服务方法，首先初始化地面用户的位置分布，以实现对地面用户的全覆盖和最小化路径损耗为目标，通过虚拟力引导动态调整无人机位置分布完成全覆盖关联。然后基于深度强化学习代理，以优化无人机边缘计算服务成本为目标，以地面用户产生的任务类型、任务大小、任务所需资源等状态为输入，动态调整无人机类型并为任务合理高效地分配通信和计算资源。本发明考虑了由多用户、多任务类型、多无人机构成的MEC网络，以同时实现无人机与地面的用户关联、无人机类型转换和资源分配为目标，基于深度强化学习使无人机集群具备更好的自主决策能力，实现无人机辅助的MEC的动态、智能和自适应边缘智能服务。