基于进化引导深度强化学习的无人机自主飞行决策方法

    公开(公告)号:CN117784812A

    公开(公告)日:2024-03-29

    申请号:CN202311800770.X

    申请日:2023-12-26

    Inventor: 柯良军 郭言笑

    Abstract: 基于进化引导深度强化学习的无人机自主飞行决策方法,包括以下步骤;步骤1:无人机自主飞行过程建模,通过构建四旋翼无人机控制模型、强化学习算法设计以及网络模型构建,用于强化学习算法设计;步骤2:进化引导的改进SAC算法,通过进行进化算法模块和信息传递方式,用于实现无人机自主飞行决策。本发明根据无人机控制模型与自主飞行任务目标对问题进行马尔科夫决策过程建模,设计基于进化引导的深度强化学习算法,提高无人机自主飞行的探索能力。

    面向多倍速仿真器的时间同步强化学习环境封装方法及系统

    公开(公告)号:CN118963908A

    公开(公告)日:2024-11-15

    申请号:CN202410922655.8

    申请日:2024-07-10

    Abstract: 本发明公开了面向多倍速仿真器的时间同步强化学习环境封装方法及系统,该系统包括仿真环境管理器、仿真环境客户端、封装服务端、时间同步机制;所述仿真环境管理器用于提供用户对仿真环境进行细粒度控制的手段,能让用户使用程序或脚本管理仿真环境的运行;所述环境客户端用于实现强化学习算法与仿真器的实时数据交互;所述封装服务端用于提供标准化的接口操作,内嵌时间同步机制;所述时间同步机制用于保障仿真器和强化学习算法的时间同步,确保智能体的决策与仿真环境的状态变化同步。本发明能实现多倍速仿真器中的时间同步,提高强化学习算法的学习效率和决策质量,具有重要的现实意义和应用前景。

    基于卷积神经网络的往复式压缩机故障诊断方法及系统

    公开(公告)号:CN113435453B

    公开(公告)日:2023-04-07

    申请号:CN202110656504.9

    申请日:2021-06-11

    Abstract: 本发明公开了基于卷积神经网络的往复式压缩机故障诊断方法及系统,包括,对采集到的压缩机气缸内动态压力数据按照压缩机每个循环的工作过程进行预处理,得到压缩机每个工作循环的p‑V图;对压缩机每个工作循环的p‑V图进行处理,得到压缩机每个工作循环的二值数字图像;将压缩机每个工作循环的二值数字图像输入已训练好的卷积神经网络进行计算,得到卷积神经网络的输出;根据预设的卷积神经网络的输出和压缩机状态之间的映射关系,得到压缩机状态类型。本发明利用卷积神经网络直接对p‑V图图像进行故障诊断,与传统机器学习方法不同,无需人为设计诊断特征,降低了人为因素对诊断结果的影响,在传统机器学习分类器的基础上提高了诊断精度。

    一种基于骨骼点检测的无人机快速姿势控制系统与方法

    公开(公告)号:CN111103891A

    公开(公告)日:2020-05-05

    申请号:CN201911390950.9

    申请日:2019-12-30

    Abstract: 一种基于骨骼点检测的无人机快速姿势控制系统与方法,包括以下步骤;人群中特定指挥者的识别及跟踪算法,姿势识别算法和无人机硬件设计及飞行控制开发模块。通过无人机硬件设计及飞行控制开发和云台相机控制开发,能够识别人群中特定指挥者,加入防跟丢机制进行人体跟踪并进行骨骼点检测并识别检测结果。利用骨骼点检测算法作为无人机姿势控制的核心算法,在克服传统算法缺点的基础上在无人机硬件平台上实现无人机的自动化控制。

    基于卷积神经网络的往复式压缩机故障诊断方法及系统

    公开(公告)号:CN113435453A

    公开(公告)日:2021-09-24

    申请号:CN202110656504.9

    申请日:2021-06-11

    Abstract: 本发明公开了基于卷积神经网络的往复式压缩机故障诊断方法及系统,包括,对采集到的压缩机气缸内动态压力数据按照压缩机每个循环的工作过程进行预处理,得到压缩机每个工作循环的p‑V图;对压缩机每个工作循环的p‑V图进行处理,得到压缩机每个工作循环的二值数字图像;将压缩机每个工作循环的二值数字图像输入已训练好的卷积神经网络进行计算,得到卷积神经网络的输出;根据预设的卷积神经网络的输出和压缩机状态之间的映射关系,得到压缩机状态类型。本发明利用卷积神经网络直接对p‑V图图像进行故障诊断,与传统机器学习方法不同,无需人为设计诊断特征,降低了人为因素对诊断结果的影响,在传统机器学习分类器的基础上提高了诊断精度。

    一种基于手势识别的无人机智能控制方法

    公开(公告)号:CN112732083A

    公开(公告)日:2021-04-30

    申请号:CN202110009676.7

    申请日:2021-01-05

    Abstract: 本发明公开一种基于手势识别的无人机智能控制方法,包括以下步骤:制作行人和人体手势图片样本集及标注行人和手势各种属性学习样本集;构建并训练深度行人和手势检测神经网络,将训练好的网络模型保存;使用行人检测模型对获取的图像并进行做行人检测;对检测到的所有行人进行面积比较,选取面积最大的作为无人机控制者,对控制者位置做区域拓展;使用手势检测模型对选定的区域做手势属性检测;对多帧手势检测结果做时域选择,将最终选择结果发送给无人机。本发明通过对人的手势进行识别分析,并将手势结果作为无人机飞行的指令发送给无人机飞控端,实现人对无人机的灵活控制。

    基于状态记忆强化学习的无人机自主导航决策方法

    公开(公告)号:CN118034331A

    公开(公告)日:2024-05-14

    申请号:CN202311801153.1

    申请日:2023-12-26

    Inventor: 柯良军 刘子锋

    Abstract: 基于状态记忆强化学习的无人机自主导航决策方法,包括以下步骤;步骤1:通过S2MAC自主导航决策算法,对智能体进行多维的构建;步骤2:给定一个全局导航目标任务,环境首先给出当前回合的导航目标g和当前的观察信息ot,g经过导航目标模块,得到当前时间步的导航子目标特征;步骤3:ot经过特征提取模块,得到观察特征,将观察特征输入到状态记忆模块中,得到状态记忆特征;步骤4:然后把这些特征结合起来,得到智能体的状态特征st;智能体输入状态特征st,输出连续的无人机飞行动作值at,动作值传回环境得到奖励值rt,智能体获得奖励;步骤5:再使用基于优先经验回放的策略求解来更新算法,得到最优策略。本发明有效提高导航决策的成功率。

    基于深度强化学习的动态卫星资源调度方法

    公开(公告)号:CN117768006A

    公开(公告)日:2024-03-26

    申请号:CN202311800905.2

    申请日:2023-12-26

    Abstract: 本发明公开了基于深度强化学习的动态卫星资源调度方法,包括以下步骤;步骤1:动态卫星资源调度问题强化学习建模,包括状态空间、动作空间以及奖励函数的构建;步骤2:紧急任务调度模块UM,用于对动态紧急任务的求解;步骤3:静态任务解优化模块OM,用于对已规划的静态任务策略进行局部优化;步骤4:基于D3QN改进的Q值重构TS‑D3QN算法进行动态卫星资源调度。本发明具有动态紧急任务求解和静态策略局部优化的特点,能够达到对动态卫星资源调度问题自适应高效求解目的。

    一种基于骨骼点检测的无人机快速姿势控制系统与方法

    公开(公告)号:CN111103891B

    公开(公告)日:2021-03-16

    申请号:CN201911390950.9

    申请日:2019-12-30

    Abstract: 一种基于骨骼点检测的无人机快速姿势控制系统与方法,包括以下步骤;人群中特定指挥者的识别及跟踪算法,姿势识别算法和无人机硬件设计及飞行控制开发模块。通过无人机硬件设计及飞行控制开发和云台相机控制开发,能够识别人群中特定指挥者,加入防跟丢机制进行人体跟踪并进行骨骼点检测并识别检测结果。利用骨骼点检测算法作为无人机姿势控制的核心算法,在克服传统算法缺点的基础上在无人机硬件平台上实现无人机的自动化控制。

Patent Agency Ranking