一种面向机器人智能控制的平滑强化学习方法及装置

    公开(公告)号:CN119512079A

    公开(公告)日:2025-02-25

    申请号:CN202411494398.9

    申请日:2024-10-24

    Abstract: 本发明提供一种面向机器人智能控制的平滑强化学习方法及装置,涉及机器人智能控制技术领域。该方法包括:获取当前时刻机器人的环境观测样本信息;根据当样本信息,构建平滑强化学习控制模型;根据样本信息,构建控制模型的奖励函数;采用机器人的离散时间运动学方程,构建控制模型的约束条件;将样本信息、奖励函数以及约束条件输入控制模型中进行在线训练,获得当前时刻机器人的平滑控制动作;构造控制模型的目标函数;根据目标函数对控制模型进更新,获得更新后的控制模型;根据平滑控制动作,获得下一时刻的观测样本信息,输入更新后的控制模型中,获得下一时刻机器人平滑控制动作。采用本发明可使机器人完成高实时且高精度的平滑控制任务。

    一种依托强化学习的PID轨迹跟踪控制方法及装置

    公开(公告)号:CN119739151A

    公开(公告)日:2025-04-01

    申请号:CN202411674068.8

    申请日:2024-11-21

    Abstract: 本发明涉及自动驾驶领域,特别是指一种依托强化学习的PID轨迹跟踪控制方法及装置,方法包括:获取待控制自动驾驶车辆的当前状态、参考轨迹和实际运行误差;构建车辆轨迹跟踪控制的策略模型;将当前状态和参考轨迹输入至车辆轨迹跟踪控制的策略模型,得到PID控制参数;将PID控制参数和实际运行误差输入至PID控制器,得到自动驾驶车辆的控制量,根据自动驾驶车辆的控制量,完成自动驾驶车辆轨迹跟踪控制。本发明利用强化学习强大的学习能力结合PID本身的稳定性以及强鲁棒性,实现车辆轨迹跟踪控制的高实时、高稳定和高精度在线计算。解决当前车辆轨迹跟踪控制的计算实时性差、应用可靠性弱和依赖复杂动态模型等问题。

    一种依托强化学习的PID轨迹跟踪控制方法及装置

    公开(公告)号:CN118818957A

    公开(公告)日:2024-10-22

    申请号:CN202411073119.1

    申请日:2024-08-06

    Abstract: 本发明涉及自动驾驶领域,特别是指一种依托强化学习的PID轨迹跟踪控制方法及装置,方法包括:获取待控制自动驾驶车辆的当前状态、参考轨迹和实际运行误差;构建车辆轨迹跟踪控制的策略模型;将当前状态和参考轨迹输入至车辆轨迹跟踪控制的策略模型,得到PID控制参数;将PID控制参数和实际运行误差输入至PID控制器,得到自动驾驶车辆的控制量,根据自动驾驶车辆的控制量,完成自动驾驶车辆轨迹跟踪控制。本发明利用强化学习强大的学习能力结合PID本身的稳定性以及强鲁棒性,实现车辆轨迹跟踪控制的高实时、高稳定和高精度在线计算。解决当前车辆轨迹跟踪控制的计算实时性差、应用可靠性弱和依赖复杂动态模型等问题。

    具有触觉反馈功能的汽车加速踏板装置

    公开(公告)号:CN104442382B

    公开(公告)日:2017-11-28

    申请号:CN201410662901.7

    申请日:2014-11-19

    Abstract: 本发明涉及具有触觉反馈功能的汽车加速踏板机械装置,该装置包括:踏板支架,安装在该踏板支架上的、踏板转轴轴系、控制电机轴系、行星齿轮机构和控制推杆机构;其中,踏板支架与汽车车身固结;踏板转轴轴系由角位移传感器、踏板转轴、加速踏板、复位弹簧组成;控制电机轴系主要由控制电机及输出轴组成;行星齿轮机构主要由太阳轮、两个行星轮、行星支架和齿圈组成;控制推杆机构主要由推杆、支杆、顶杆、缓冲弹簧和摩擦片组成。本发明可以实现普通加速踏板和主动反馈式加速踏板两种模式的自由转换。使得驾驶员能够根据自身需要选择其工作模式。

    雷达参数自适应点云信息的目标检测方法及装置

    公开(公告)号:CN119942518A

    公开(公告)日:2025-05-06

    申请号:CN202411695888.5

    申请日:2024-11-25

    Applicant: 清华大学

    Abstract: 本申请涉及点云检测技术领域,特别涉及一种雷达参数自适应点云信息的目标检测方法及装置,其中,方法包括:基于检测目标的点云信息,获取点云信息中不同尺度的点云特征;基于采集点云信息的雷达的雷达参数信息,提取雷达参数信息中不同尺度的垂直和水平角分辨率特征;连接相同尺度的点云特征和分辨率特征,以得到检测目标不同尺度的模态特征;利用点云信息和不同尺度的模态特征生成检测目标的点云检测结果。由此,解决了相关技术中,使用单一数据集的方法在迁移到其他数据集上时,检测精度严重下降,无法适应真实世界中复杂的路况,而多数据集联合训练则会增加算力需求与训练成本,且得到的权重仅适用于联合训练的多个数据集,无法适应用于新数据集等问题。

    融合SD Map实现BEV局部地图实时感知方法

    公开(公告)号:CN119785311A

    公开(公告)日:2025-04-08

    申请号:CN202411835654.6

    申请日:2024-12-13

    Applicant: 清华大学

    Abstract: 本申请涉及一种融合SD Map实现BEV局部地图实时感知方法,包括:对导航地图进行编码,得到导航地图的折线序列,并利用Transformer编码器对导航地图的折线序列进行处理,得到导航地图的特征;利用地图编码器从车载传感器数据中提取特征,并将特征转换为统一的BEV特征;基于预设局部地图特征融合网络,利用多头交叉注意力机制将导航地图的特征与BEV特征进行融合,得到融合的BEV特征,并输入至预设的车道拓扑模型解码器中,预测车道中心线、交通元素以及车道中心线和交通元素关联的亲和矩阵。由此,解决了现有技术中高精度地图成本高、维护难及局部地图生成稳定性差的问题,提高了感知系统的鲁棒性和准确性。

    基于构造样本相似度的风险评估模型的训练方法

    公开(公告)号:CN116957052B

    公开(公告)日:2024-06-04

    申请号:CN202310680341.7

    申请日:2023-06-09

    Applicant: 清华大学

    Abstract: 本申请涉及一种基于构造样本相似度的风险评估模型的训练方法及装置、乘员损伤风险评估方法及装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取真实样本和反映关键特征信息与乘员损伤信息的相关关系的构造样本;通过真实样本训练第一风险评估子网络;通过真实样本和构造样本训练特征提取子网络;将碰撞特征信息输入训练后的第一风险评估子网络,获取第一编码信息;将真实样本输入训练后的特征提取子网络,获取第二编码信息;将第一和第二编码信息输入第二风险评估子网络,得到乘员损伤评估信息,根据损伤评估信息和损伤真值信息训练得到风险评估模型。采用本方法训练得到的风险评估模型可以提高乘员损伤风险评估结果的可靠性。

Patent Agency Ranking