基于约束奖励的深度强化学习四足机器人运动控制方法及系统

    公开(公告)号:CN119512184B

    公开(公告)日:2025-05-16

    申请号:CN202510082218.4

    申请日:2025-01-20

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于约束奖励的深度强化学习四足机器人运动控制方法及系统,建立四足机器人深度强化学习的仿真训练环境;确定仿真训练环境的奖励函数、域随机化参数和成本约束函数;基于机器人信息和第一模拟环境信息,在仿真训练环境中通过奖励函数和成本约束函数对初始策略网络模型进行训练,得到训练完成的策略网络模型;建立推理测试环境,并将训练完成的策略网络模型部署至推理测试环境进行模型推理测试调优,得到目标策略网络模型;将目标策略网络模型部署至四足机器人中,以对四足机器人进行运动控制。本发明降低了仿真训练环境与真实环境的差异,使得四足机器人在真实环境中被目标策略网络模型稳定控制。

    智能空中对战环境电磁仿真系统

    公开(公告)号:CN112051553A

    公开(公告)日:2020-12-08

    申请号:CN202010923603.4

    申请日:2020-09-04

    Applicant: 清华大学

    Abstract: 本发明公开了属于空战仿真技术领域的智能空中对战环境电磁仿真系统,包括RCS特征模拟、电磁干扰模拟和雷达探测模拟三个模块,其特征在于:所述RCS特征模拟模块包括雷达波入射角计算和目标全向RCS离线数据库两个子模块;所述电磁干扰模拟模块包括地杂波干扰计算、对方电磁干扰计算、诱饵计算和干扰综合四个子模块;所述雷达探测模拟模块包括雷达探测能力离线数据库、雷达探测/跟踪距离计算、扫描波位计算、目标探测/跟踪判定四个子模块。其技术效果是:能够有效模拟地杂波、对方电磁干扰和诱饵等复杂因素的影响,仅需要输入少量关键雷达指标参数,即可精确仿真机载雷达或雷达导引头对目标的探测过程,且仿真计算量很小。

    一种永磁同步电机Id=0电流控制算法

    公开(公告)号:CN103684187B

    公开(公告)日:2016-09-21

    申请号:CN201310745247.1

    申请日:2013-12-31

    Applicant: 清华大学

    Inventor: 匡敏驰 朱纪洪

    CPC classification number: Y02P80/116

    Abstract: 本发明公开了一种用于电机控制技术领域的永磁同步电机Id=0电流控制算法,包括:最大相电流处相位检测步骤、积分相位超前补偿步骤;所述最大相电流处相位检测步骤,即通过电流传感器检测定子相电流,并求得多个相电流周期中电流的最大值,同时记录相电流最大时通过计算得到的对应电角度;所述积分相位超前补偿步骤,即将相电流最大时检测到的电角度与90°相减得到相位差,然后将该相位差乘以增益以后累加到相位超前补偿角度值上,最后使用该相位超前补偿角度值实现对电机的Id=0控制。其技术效果是:通过最大相电流处相位检测和积分相位超前补偿,实现了计算量较小且稳定性较好的Id=0控制,减少了输出同等转矩时所需的相电流幅值,提升了电机效率。

    智能空中对战环境电磁仿真系统

    公开(公告)号:CN112051553B

    公开(公告)日:2023-10-31

    申请号:CN202010923603.4

    申请日:2020-09-04

    Applicant: 清华大学

    Abstract: 本发明公开了属于空战仿真技术领域的智能空中对战环境电磁仿真系统,包括RCS特征模拟、电磁干扰模拟和雷达探测模拟三个模块,其特征在于:所述RCS特征模拟模块包括雷达波入射角计算和目标全向RCS离线数据库两个子模块;所述电磁干扰模拟模块包括地杂波干扰计算、对方电磁干扰计算、诱饵计算和干扰综合四个子模块;所述雷达探测模拟模块包括雷达探测能力离线数据库、雷达探测/跟踪距离计算、扫描波位计算、目标探测/跟踪判定四个子模块。其技术效果是:能够有效模拟地杂波、对方电磁干扰和诱饵等复杂因素的影响,仅需要输入少量关键雷达指标参数,即可精确仿真机载雷达或雷达导引头对目标的探测过程,且仿真计算量很小。

    基于强化学习和迁移学习的飞行器全自动气动优化方法

    公开(公告)号:CN109614631B

    公开(公告)日:2022-10-14

    申请号:CN201811217192.6

    申请日:2018-10-18

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于强化学习和迁移学习的飞行器全自动气动优化方法,用于解决现有气动优化方法存在的容易陷入局部最优或收敛速度缓慢的问题,同时该优化方法在最后的高精度优化阶段将人工干预排除在外,进一步提高了优化效率。技术方案是首先分别建立基于半经验估算和高精度流体仿真的强化学习环境,然后构建强化学习神经网络、设置奖励函数,利用强化学习的全局寻优能力,在网络训练的过程中从半经验估算方法中提取优化经验并储存于网络参数中,然后构建另一个强化学习神经网络,并使用迁移学习将提取的优化经验迁移到该网络,再将其运用到基于高精度流体仿真的气动优化中,最后通过训练该网络获取气动性能优异的高精度设计参数。相对于背景技术方法,本发明提高了收敛速度,同时具备强大的全局寻优能力,对高精度气动优化具有很大的工程价值。

    空战飞机设计参数及智能体综合迭代系统

    公开(公告)号:CN112287451B

    公开(公告)日:2022-09-09

    申请号:CN202010924336.2

    申请日:2020-09-04

    Applicant: 清华大学

    Abstract: 本发明公开了属于智能空战技术领域的空战飞机设计参数及智能体综合迭代系统,其特征在于:智能迭代模块通过智能空中对战环境对空战飞机的典型关键战术指标组合进行迭代;所述智能空中对战环境包含电磁仿真模块、红外仿真模块、自主决策模块、飞行控制模块、人机交互模块、动力学仿真模块、视景仿真模块,可以对空战过程进行高精度仿真;智能体筛选模块可以根据对战结果对空战智能体进行筛选;复盘推演模块可以对智能空中对战过程进行复盘和推演。其技术效果是:所述空战飞机设计参数及智能体综合迭代系统具有很高的空战过程模拟精度,能够显著降低空战飞机设计人员的工作量,可以高效快速地筛选出空战能力强的智能体。

    一种采用黄金分割搜索的空战三体对抗最优预测制导方法

    公开(公告)号:CN112033235A

    公开(公告)日:2020-12-04

    申请号:CN202010923657.0

    申请日:2020-09-04

    Applicant: 清华大学

    Abstract: 本发明涉及航空航天技术领域,公开了一种采用黄金分割搜索的空战三体对抗最优预测制导方法,包括:建立空战三体对抗交战三方的运动学模型,根据交战三方实时运动状态选取优化指标函数,采用黄金分割法优化求解得到最优剩余拦截时间,将来袭导弹运动状态积分至剩余拦截时刻并选取为虚拟目标点,将防御导弹以虚拟目标点为目标,采用比例导引律进行制导。本方法基于预测思想,将飞机在空战三体对抗场景中的耦合状态考虑在制导律设计中,选取未来相对距离为优化指标,针对非线性耦合运动模型进行优化,所设计制导律有效提升了防御导弹拦截概率,降低了脱靶量,且需求制导过载小于传统制导律,能够使低性能防御导弹完成对高速高机动来袭导弹的拦截。

    一种采用注意力机制的金字塔池化多尺度特征学习方法

    公开(公告)号:CN110705562A

    公开(公告)日:2020-01-17

    申请号:CN201910779135.5

    申请日:2019-08-22

    Applicant: 清华大学

    Abstract: 本发明公开了一种采用注意力机制的金字塔池化多尺度特征学习方法,其特征在于含有:金字塔池化模型和注意力模型。所述金字塔池化模型由多条具有不同池化窗口大小的自适应池化通路并联组成,用于提取多尺度上下文特征。所述注意力模型通过非线性函数表征金字塔池化模型所生成的不同通道特征之间的关系,并对各个通道分配权重以强化有用特征同时抑制无用特征。本发明的一种采用注意力机制的金字塔池化多尺度特征学习方法可以增强金字塔池化模型的多尺度特征学习能力,并能灵活嵌入到卷积神经网络模型中,适用于图像语义分割、目标检测、图像分类等多种任务。

    一种自适应形变空洞卷积方法

    公开(公告)号:CN109858612A

    公开(公告)日:2019-06-07

    申请号:CN201910049890.8

    申请日:2019-01-18

    Applicant: 清华大学

    Abstract: 本发明公开了一种自适应形变空洞卷积方法,包括:自适应形变空洞卷积前向推导模型和自适应形变空洞卷积梯度反向传播模型。特征是所述自适应形变空洞卷积方法将空洞卷积的扩张率作为模型未知参数,通过训练数据自主学习扩张率。所述自适应形变空洞卷积前向推导模型将传统空洞卷积中的离散超参数扩张率转换为连续模型参数,从而将空洞卷积的输入由离散空间扩展到连续空间,并且使得自适应形变空洞卷积的扩张率能够通过所述自适应形变空洞卷积梯度反向传播模型来学习。本发明的自适应形变空洞卷积方法能够自主学习扩张率,灵活性高,适用于推广应用。

    一种双余度作动的尾座式无人机

    公开(公告)号:CN109353506A

    公开(公告)日:2019-02-19

    申请号:CN201811160531.1

    申请日:2018-09-30

    Applicant: 清华大学

    Abstract: 本发明公开了一种双余度作动的尾座式无人机,其特征在于含有:机身、机翼、旋翼发动机、二自由度矢量基座、矢量舵机、副翼、升降舵、方向舵、舵面舵机。所述旋翼发动机安装在所述二自由度矢量基座上,所述二自由度矢量基座固定在所述机身前部,所述矢量舵机驱动所述旋翼发动机全向偏转,所述副翼安装在所述机翼下方,所述升降舵和所述方向舵安装在机身尾部,所述舵面舵机驱动所述副翼、所述升降舵和所述方向舵偏转。本发明的无人机采用二自由度推力矢量和控制舵面相结合的双余度作动方式,保证了整个飞行包线姿态控制的可靠与高效,适用于推广应用。

Patent Agency Ranking