公开(公告)号：CN117506940A

公开(公告)日：2024-02-06

申请号：CN202410012473.7

申请日：2024-01-04

Applicant: 中国科学院自动化研究所

Inventor： 杨旭 ,  王泽禹

IPC: B25J9/16

Abstract: 本发明涉及一种机器人轨迹语言描述生成方法、装置和可读存储介质。涉及机器人技术领域，该方法包括：在连续仿真环境中生成仿真轨迹，并使智能体按照仿真轨迹运行；获取仿真轨迹运行过程中的传感器观察信息和动作序列信息；确定出动作序列信息中的关键动作；根据关键动作确定出传感器观察信息中的视觉观察信息；采用多模态预训练模型来预测视觉观察信息中的名词信息；生成轨迹指令模板；将关键动作和名词信息填入轨迹指令模板，以得到与仿真轨迹对应的自然语言描述。该方法能够极大降低视觉语言导航训练数据的产生成本，扩大数据规模，降低视觉语言导航的训练难度，提升训练效率和训练得到的模型的泛化性及准确度。

公开(公告)号：CN117506940B

公开(公告)日：2024-04-09

申请号：CN202410012473.7

申请日：2024-01-04

Applicant: 中国科学院自动化研究所

Inventor： 杨旭 ,  王泽禹

IPC: B25J9/16

Abstract: 本发明涉及一种机器人轨迹语言描述生成方法、装置和可读存储介质。涉及机器人技术领域，该方法包括：在连续仿真环境中生成仿真轨迹，并使智能体按照仿真轨迹运行；获取仿真轨迹运行过程中的传感器观察信息和动作序列信息；确定出动作序列信息中的关键动作；根据关键动作确定出传感器观察信息中的视觉观察信息；采用多模态预训练模型来预测视觉观察信息中的名词信息；生成轨迹指令模板；将关键动作和名词信息填入轨迹指令模板，以得到与仿真轨迹对应的自然语言描述。该方法能够极大降低视觉语言导航训练数据的产生成本，扩大数据规模，降低视觉语言导航的训练难度，提升训练效率和训练得到的模型的泛化性及准确度。