公开(公告)号：CN105867378B

公开(公告)日：2018-07-31

申请号：CN201610238110.0

申请日：2016-04-18

Applicant: 苏州大学

Inventor： 朱斐 ,  伏玉琛 ,  刘全 ,  陈冬火 ,  金海东

IPC: G05D1/02

Abstract: 本发明公开了种通过自动创建抽象动作控制移动机器人的方法,包括:1)初始化;2)按照Q学习模块的更新公式更新所有的状态‑动作评估值,并保存经验轨迹,去除经验轨迹中的重复状态区间内的状态;3)计算剩余状态的多样性密度值;4)若存在某个状态的多样性密度值达到预设阈值,则进入步骤5);否则重复步骤2)至4);5)选择多样性密度值大于阈值的状态作为子目标点,创建抽象动作模块,设置抽象动作的出发状态、策略和终止条件,将该抽象动作模块加入机器人的可选动作集中,采用更新后的可选动作集控制移动机器人。本发明能够有效地创建抽象动作,机器人可以利用创建的抽象动作进行分层强化学习,从而加速机器人在复杂环境下的学习。

公开(公告)号：CN105867378A

公开(公告)日：2016-08-17

申请号：CN201610238110.0

申请日：2016-04-18

Applicant: 苏州大学

Inventor： 朱斐 ,  伏玉琛 ,  刘全 ,  陈冬火 ,  金海东

IPC: G05D1/02

CPC classification number: G05D1/0221 ,  G05D2201/0217

Abstract: 本发明公开了一种通过自动创建抽象动作控制移动机器人的方法，包括：1）初始化；2）按照Q学习模块的更新公式更新所有的状态?动作评估值，并保存经验轨迹，去除经验轨迹中的重复状态区间内的状态；3）计算剩余状态的多样性密度值；4）若存在某个状态的多样性密度值达到预设阈值，则进入步骤5）；否则重复步骤2）至4）；5）选择多样性密度值大于阈值的状态作为子目标点，创建抽象动作模块，设置抽象动作的出发状态、策略和终止条件，将该抽象动作模块加入机器人的可选动作集中，采用更新后的可选动作集控制移动机器人。本发明能够有效地创建抽象动作，机器人可以利用创建的抽象动作进行分层强化学习，从而加速机器人在复杂环境下的学习。