公开(公告)号：CN119625072A

公开(公告)日：2025-03-14

申请号：CN202510162677.3

申请日：2025-02-14

Applicant: 北京理工大学

Inventor： 王钢 ,  梅云鹏 ,  曹宏杰 ,  王树泽 ,  刘文婕 ,  李依霏 ,  孙健 ,  邓方 ,  彭志红 ,  陈杰

IPC: G06T7/73 ,  G06F40/284 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明公开了一种语言驱动的物体抓取姿态预测方法、终端及存储介质，涉及人工智能与计算机视觉技术领域。本发明提供的语言驱动的物体抓取姿态预测模型是一种引入了语言交互能力的模型，可以结合用户输入的语言提示词进行交互式预测，使得操作者可以通过语言提示词指定抓取对象，并由模型预测出更准确的抓取姿态。本发明拓展了物体抓取姿态预测模型的可交互性和模型灵活性，对非结构化任务场景具有较强泛化性。

公开(公告)号：CN119648747A

公开(公告)日：2025-03-18

申请号：CN202510162679.2

申请日：2025-02-14

Applicant: 北京理工大学

Inventor： 王钢 ,  王树泽 ,  孙健 ,  梅云鹏 ,  袁烨天 ,  曹宏杰 ,  刘文婕 ,  李依霏 ,  张博譞 ,  陈杰

IPC: G06T7/246 ,  G06V40/20 ,  G06V10/774 ,  G06V10/82 ,  G06N3/045 ,  G06T7/73

Abstract: 本发明公开了基于关键点和模仿学习的动作预测方法、终端及存储介质，涉及具身智能技术领域。本发明将世界模型的思想与模仿学习结合，通过环境动力学预测模型学习到更符合环境上下文的场景表示，并通过训练后的轨迹预测模型预测关键点运动轨迹，以辅助动作头模块进行动作决策。本发明利用关键点运动轨迹作为辅助信息，可以有效提升智能体的决策准确性。首先关键点不会受到光照等环境变化的影响，即使物体被部分遮挡，剩余部分的关键点轨迹依然能够提供同样的信息，因此具有较好的鲁棒性。其次，关键点的运动轨迹与智能机械装置在三维空间中的运动轨迹存在确定的映射关系，因此能够使得神经网络更好的拟合智能机械装置的移动动作。

公开(公告)号：CN117464676A

公开(公告)日：2024-01-30

申请号：CN202311488524.5

申请日：2023-11-09

Applicant: 北京理工大学

Inventor： 王钢 ,  王树泽 ,  孙健 ,  梅云鹏 ,  曾宪琳 ,  陈杰

IPC: B25J9/16

Abstract: 本发明公开了一种基于改进Dreamer框架的机械臂抓取方法，涉及智能生产制造领域，本发明首先通过对机械臂建模和观测动作空间及奖励函数设计构建自主决策强化学习问题模型。其次，搭建了一个具有一套基本控制接口的机械臂操作仿真平台，可与各种强化学习算法相结合。然后，通过所提出的带有前向预测的世界模型有效对生产环境进行模拟和预测，令世界模型同时学习向前与向后两种环境动力学，提高了交互得到的训练数据利用率。最后，将改进的世界模型嵌入深度强化学习算法Dreamer框架中，在搭建的平台上在线交互训练机械臂自主抓放，最终在训练的收敛速度、样本效率以及表现性能等方面均表现良好，对现实中实现智能制造中机械臂自主决策环节有重要意义。