公开(公告)号：CN117874258A

公开(公告)日：2024-04-12

申请号：CN202410113790.8

申请日：2024-01-26

Applicant: 北京工业大学

Inventor： 刘春芳 ,  高亦彤 ,  付涵宇 ,  郭云帆 ,  庞瑞田 ,  鱼天鸿

IPC: G06F16/36 ,  G06N5/022 ,  G06N3/0464 ,  G06F40/16

Abstract: 本发明公开了基于语言视觉大模型与知识图谱的任务序列智能规划方法，包括层次化知识图谱构建、基于语言视觉大模型的场景关系感知与预测模型训练以及PDDL自主动作序列规划。从层次化知识图谱构建的知识图谱中查询并提取相关的物体与动作属性，用于自动生成PDDL规划器的域文件，同时基于语言视觉大模型的场景关系感知与预测模型训练，并输出相关物体的初始与目标状态，自动生成PDDL规划器的问题文件；所述域文件与问题文件驱动PDDL自主动作序列规划动作基元序列。本发明可以应用于机器人智能规划领域，只需要输入人的语言任务指令与感知当前场景的视觉图片，机器人就可以根据内置的知识图谱进行相关信息联想与智能规划，获取可行的操作层动作基元序列。

公开(公告)号：CN117874258B

公开(公告)日：2025-05-13

申请号：CN202410113790.8

申请日：2024-01-26

Applicant: 北京工业大学

Inventor： 刘春芳 ,  高亦彤 ,  付涵宇 ,  郭云帆 ,  庞瑞田 ,  鱼天鸿

IPC: G06F16/36 ,  G06N5/022 ,  G06N3/0464 ,  G06F40/16

Abstract: 本发明公开了基于语言视觉大模型与知识图谱的任务序列智能规划方法，包括层次化知识图谱构建、基于语言视觉大模型的场景关系感知与预测模型训练以及PDDL自主动作序列规划。从层次化知识图谱构建的知识图谱中查询并提取相关的物体与动作属性，用于自动生成PDDL规划器的域文件，同时基于语言视觉大模型的场景关系感知与预测模型训练，并输出相关物体的初始与目标状态，自动生成PDDL规划器的问题文件；所述域文件与问题文件驱动PDDL自主动作序列规划动作基元序列。本发明可以应用于机器人智能规划领域，只需要输入人的语言任务指令与感知当前场景的视觉图片，机器人就可以根据内置的知识图谱进行相关信息联想与智能规划，获取可行的操作层动作基元序列。