公开(公告)号：CN114290339B

公开(公告)日：2022-06-21

申请号：CN202210221230.5

申请日：2022-03-09

Applicant: 南京大学

Inventor： 俞扬 ,  刘驭壬 ,  詹德川 ,  周志华 ,  魏宏伟

IPC: B25J9/16 ,  G06N3/08 ,  G06N3/04 ,  G06N3/00

Abstract: 本发明公开一种基于强化学习和残差建模的机器人现实迁移方法，在只有少量混合离线数据和带偏差模拟器的情况下，利用离线数据和偏差模拟器构造最优模拟器。基于最优模拟器通过强化学习算法训练出机器人行为策略并让机器人能自主适应现实环境，这种自适应性使行为策略能够更有效地推广到真实环境。本发明提出了一种机器人训练框架，为减机器人控制从模拟器环境应用到现实场景中的偏差提供了一种创新性的方法。该方法基于离线数据对模拟器环境状态空间和真实环境状态空间的残差进行建模，并使用学得的残差模型修正原始模拟器。最终将机器人在修正模拟器中学到的策略，迁移到真实环境中。

公开(公告)号：CN114290339A

公开(公告)日：2022-04-08

申请号：CN202210221230.5

申请日：2022-03-09

Applicant: 南京大学

Inventor： 俞扬 ,  刘驭壬 ,  詹德川 ,  周志华 ,  魏宏伟

IPC: B25J9/16 ,  G06N3/08 ,  G06N3/04 ,  G06N3/00

Abstract: 本发明公开一种基于强化学习和残差建模的机器人现实迁移系统和方法，在只有少量混合离线数据和带偏差模拟器的情况下，利用离线数据和偏差模拟器构造最优模拟器。基于最优模拟器通过强化学习算法训练出机器人行为策略并让机器人能自主适应现实环境，这种自适应性使行为策略能够更有效地推广到真实环境。本发明提出了一种机器人训练框架，为减机器人控制从模拟器环境应用到现实场景中的偏差提供了一种创新性的方法。该方法基于离线数据对模拟器环境状态空间和真实环境状态空间的残差进行建模，并使用学得的残差模型修正原始模拟器。最终将机器人在修正模拟器中学到的策略，迁移到真实环境中。