公开(公告)号：CN114819060A

公开(公告)日：2022-07-29

申请号：CN202210333460.0

申请日：2022-03-30

Applicant: 北京控制工程研究所

Inventor： 王勇 ,  解永春 ,  李林峰 ,  陈奥 ,  梁红义

IPC: G06N3/04 ,  G06N3/08 ,  B25J9/16

Abstract: 一种基于目标采样的模仿学习方法，属于人工智能技术领域。本发明包括网络结构设计、参考轨迹生成及学习算法。通过把一个复杂任务的目标转换为一系列容易训练的子目标，并借助于模仿学习，大大降低复杂任务采用强化学习训练的难度，有效解决了强化学习中具有稀疏reward特征的任务难以训练的问题。

公开(公告)号：CN114781645A

公开(公告)日：2022-07-22

申请号：CN202210255129.1

申请日：2022-03-15

Applicant: 北京控制工程研究所

Inventor： 解永春 ,  李林峰 ,  王勇 ,  陈奥

IPC: G06N20/00 ,  G06N3/08

Abstract: 一种基于概率的策略迁移方法，属于人工智能技术领域。机器人操作等连续控制任务的环境受高动态、不确定等影响，实际上很难利用虚拟环境逼近真实环境。本发明方法包括：通过Monte Carlo dropout构建概率的Q函数估计器，并与策略梯度优化进行结合，使得算法具备辨识环境不确定性的能力。具体通过虚拟环境训练数据采集、不确定性分解与推断、策略梯度优化、真实环境运行性能评估，实现了环境不确定性的分解与度量，改善了策略学习效率与策略运行性能。

公开(公告)号：CN114692485A

公开(公告)日：2022-07-01

申请号：CN202210233764.X

申请日：2022-03-10

Applicant: 北京控制工程研究所

Inventor： 解永春 ,  李林峰 ,  王勇 ,  陈奥 ,  梁红义

IPC: G06F30/27

Abstract: 本发明公开了一种空间精细操作的多任务强化学习基准平台设计方法，属于空间技术领域。本发明方法包括：搭建多任务空间操作的训练环境，构建多模态观测信息的提取基准，建立多任务空间操作学习的评价基准，将干扰变量总数、干扰变量摄动方差、接触动力学摄动方差等引入策略优化，可更好应对空间环境的多源干扰与非结构化特点。针对真实环境数据采样的高成本、低安全问题，本发明实现了机器人设置与真实环境相近的虚拟环境，利用虚拟环境数据采样代替真实环境数据采样，有利于提升算法的可复用性。

公开(公告)号：CN111844034B

公开(公告)日：2022-03-04

申请号：CN202010693535.7

申请日：2020-07-17

Applicant: 北京控制工程研究所

Inventor： 解永春 ,  陈奥 ,  王勇 ,  李林峰 ,  唐宁 ,  徐拴锋

IPC: B25J9/16

Abstract: 基于深度强化学习的端到端在轨自主加注控制系统及方法，包括基于深度强化学习的端到端在轨加注控制系统和神经网络结构；控制系统包括：基于深度神经网络的特征提取系统、基于深度强化学习的自学习轨迹规划系统和机械臂关节控制系统；神经网络结构包括：基于深度神经网络的特征提取系统网络和基于深度强化学习的自学习轨迹规划系统网络；特征提取系统网络主要由深度卷积神经网络组成；轨迹规划系统网络由策略网络和评价网络构成；整个系统在虚拟环境下利用深度强化学习的基本方法进行训练，且可基于特征迁移至真实的物理环境下。本发明不但解决了困扰当前空间操作的环境的非结构化、遥操作的大时延等难题，并且具有实际的工程应用价值。