公开(公告)号：CN110014428A

公开(公告)日：2019-07-16

申请号：CN201910327921.1

申请日：2019-04-23

Applicant: 北京理工大学

Inventor： 方浩 ,  宇文涛 ,  陈杰 ,  杨庆凯 ,  曾宪琳

IPC: B25J9/16

Abstract: 本发明提出了一种基于强化学习的时序逻辑任务规划方法。首先使用线性时序逻辑语言和非确定性Büchi自动机对任务进行建模，并使用有限状态转移系统FTS对环境进行描述，然后利用FTS和Büchi自动机产生生成式Büchi自动机；利用Q-Learning方法对生成式Büchi自动机进行任务规划训练；在迭代训练训练过程中，当组合状态进入可接受状态或者死区状态时，结束本轮迭代，跳转进入下一次迭代过程；同时，更新状态-动作值所使用的奖励函数包含当组合状态进入可接受状态或者死区状态时给予奖励值或者惩罚值的设定。本发明能够有效、安全、高速的对时序逻辑任务进行任务规划。

公开(公告)号：CN110014428B

公开(公告)日：2020-11-10

申请号：CN201910327921.1

申请日：2019-04-23

Applicant: 北京理工大学

Inventor： 方浩 ,  宇文涛 ,  陈杰 ,  杨庆凯 ,  曾宪琳

IPC: B25J9/16

Abstract: 本发明提出了一种基于强化学习的时序逻辑任务规划方法。首先使用线性时序逻辑语言和非确定性Büchi自动机对任务进行建模，并使用有限状态转移系统FTS对环境进行描述，然后利用FTS和Büchi自动机产生生成式Büchi自动机；利用Q‑Learning方法对生成式Büchi自动机进行任务规划训练；在迭代训练训练过程中，当组合状态进入可接受状态或者死区状态时，结束本轮迭代，跳转进入下一次迭代过程；同时，更新状态‑动作值所使用的奖励函数包含当组合状态进入可接受状态或者死区状态时给予奖励值或者惩罚值的设定。本发明能够有效、安全、高速的对时序逻辑任务进行任务规划。

公开(公告)号：CN109657868B

公开(公告)日：2021-02-09

申请号：CN201811599707.3

申请日：2018-12-26

Applicant: 北京理工大学

Inventor： 方浩 ,  宇文涛 ,  陈杰 ,  田戴荧 ,  刘得明

IPC: G06Q10/04

Abstract: 本发明公开了一种任务时序逻辑约束的概率规划识别方法，以智能体、任务集、环境为已知信息，对任务集用线性时序逻辑语言描述并转换成相应Büchi自动机，对环境用有限状态转移系统进行建模，将两者合并形成规划库，规划器以智能体的观测信息和规划库为输入，形成规划结果集；以目标智能体的观测信息和规划库为输入，综合考虑智能体当前位置，姿态，历史轨迹以及任务进程，其中，智能体的姿态计算以智能体与目标点的朝向角为基准，在乘积式Büchi自动机的基础上，设计基于Dijkstra算法的规划器，得出规划结果集，由规划器计算出规划结果集和对应整体代价集，在满足观测序列的情况下对目标智能体的意图和行为的预测，根据设计概率计算公式得出目标概率和任务概率。

公开(公告)号：CN109657868A

公开(公告)日：2019-04-19

申请号：CN201811599707.3

申请日：2018-12-26

Applicant: 北京理工大学

Inventor： 方浩 ,  宇文涛 ,  陈杰 ,  田戴荧 ,  刘得明

IPC: G06Q10/04

CPC classification number: G06Q10/04

Abstract: 本发明公开了一种任务时序逻辑约束的概率规划识别方法，以智能体、任务集、环境为已知信息，对任务集用线性时序逻辑语言描述并转换成相应Büchi自动机，对环境用有限状态转移系统进行建模，将两者合并形成规划库，规划器以智能体的观测信息和规划库为输入，形成规划结果集；以目标智能体的观测信息和规划库为输入，综合考虑智能体当前位置，姿态，历史轨迹以及任务进程，其中，智能体的姿态计算以智能体与目标点的朝向角为基准，在乘积式Büchi自动机的基础上，设计基于Dijkstra算法的规划器，得出规划结果集，由规划器计算出规划结果集和对应整体代价集，在满足观测序列的情况下对目标智能体的意图和行为的预测，根据设计概率计算公式得出目标概率和任务概率。