公开(公告)号：CN119002511A

公开(公告)日：2024-11-22

申请号：CN202411073367.6

申请日：2024-08-06

Applicant: 北京理工大学

Inventor： 王钢 ,  张鑫宏 ,  王润青 ,  孙健 ,  邓方 ,  陈杰

IPC: G05D1/46 ,  G05D1/49 ,  G05D1/622

Abstract: 本发明属于无人机控制技术领域，提供一种基于深度强化学习的无人机多任务控制方法，具体过程为：训练数据生成：构建定点控制任务的任务环境，在该环境中完成定点控制任务的控制器训练；构建避障任务的任务环境，在该环境中完成避障任务控制器训练；利用训练完成的定点控制任务的控制器和避障任务控制器，生成用于多任务智能体离线训练的交互数据；多任务智能体离线训练：利用所述交互数据进行多任务智能体离线训练；多任务智能体在线训练：构建多个单任务环境，将多任务智能体与所述多个单任务环境直接交互，利用所述交互数据进行多任务智能体的在线训练；利用训练好的多任务智能体作为无人机位置控制器，执行无人机多任务控制。

公开(公告)号：CN118721208A

公开(公告)日：2024-10-01

申请号：CN202411023330.2

申请日：2024-07-29

Applicant: 北京理工大学

Inventor： 王钢 ,  王润青 ,  张鑫宏 ,  孙健 ,  邓方 ,  陈杰

IPC: B25J9/16

Abstract: 本发明提供一种基于选择性状态空间与有模型强化学习的机械臂操控方法，首先根据真实环境构建世界模型，世界模型处理第三人称视角下的高维视觉图像，提取图像特征并整合序列状态‑动作信息，机械臂模型再根据世界模型提取的特征信息进行决策与学习，能在较低的交互次数下最大化样本效率，仅利用较少的计算资源就可以让机械臂学习到物品抓取方法，能够提升有模型强化学习算法在不同任务场景中的泛用性，降低训练成本和在实际环境中的部署难度，提升计算效率。

公开(公告)号：CN119584013A

公开(公告)日：2025-03-07

申请号：CN202411229841.X

申请日：2024-09-03

Applicant: 北京理工大学

Inventor： 王钢 ,  刘文婕 ,  孙健 ,  李依霏 ,  韦雨舟 ,  张博譞 ,  张鑫宏 ,  陈杰

IPC: H04R3/00

Abstract: 本发明提供一种噪声数据未知系统输出调节方法及装置，属于无人系统控制技术领域。具体步骤包括：根据外部参考信号构造演化矩阵，计算内膜矩阵对，构造内膜状态；在内膜系统和未知物理过程线性系统上添加过程噪声，令线性系统、传感器以及内膜系统相连，直接向线性系统施加控制输入，将传感器输出与期望跟踪的轨迹做差作为内膜系统的输入，收集输出数据，构建状态矩阵；利用外部参考信号的演化矩阵构造滤波矩阵；计算控制增益矩阵；利用控制增益矩阵构造基于状态反馈的控制器；令线性系统、传感器、内膜系统以及控制器依次相连，进行在线运行实现闭环系统的输出调节。

公开(公告)号：CN119335913A

公开(公告)日：2025-01-21

申请号：CN202411213222.1

申请日：2024-08-30

Applicant: 北京理工大学

Inventor： 王钢 ,  刘文婕 ,  孙健 ,  李依霏 ,  韦雨舟 ,  张博譞 ,  张鑫宏 ,  陈杰

IPC: G05B19/042

Abstract: 本发明属于无人系统控制技术领域，具体涉及一种数据驱动的未知非线性系统输出调节方法及装置。该方法具体过程为：内膜系统构造：根据外部参考信号构造演化矩阵的k阶辅助矩阵，基于所述辅助矩阵计算内膜矩阵对，构成内膜系统；令非线性系统、传感器以及内膜系统依次相连，直接向非线性系统施加控制输入，将传感器输出与期望跟踪的轨迹做差作为内膜系统的输入，收集到非线性系统的状态以及内膜系统的状态，计算非线性系统的非线性状态、状态的导数和内膜系统状态的导数；利用外部参考信号的演化矩阵构造滤波矩阵；利用收集数据和滤波矩阵，求解一个半正定规划问题，得到构造控制增益矩阵；利用控制增益矩阵构造反馈控制器实现系统输出控制。