公开(公告)号：CN119550345A

公开(公告)日：2025-03-04

申请号：CN202411892699.7

申请日：2024-12-20

Applicant: 同济大学

Inventor： 王志鹏 ,  顾飞达 ,  何斌 ,  周艳敏 ,  程斌 ,  蒋烁

IPC: B25J9/16

Abstract: 本发明涉及一种结合通用与专用模型的机器人动作生成方法及系统，其中，所述的方法包括：构建通用模型和专用模型，对所述的通用模型进行预训练，对预训练后的通用模型进行参数微调，并基于微调后的通用模型训练所述的专用模型；获取任务指令和实时视觉信息，将所述的任务指令和和实时视觉信息输入微调后的通用模型，输出动作序列和任务潜在特征；获取实时点云感知数据，并将所述的实时点云感知数据与所述的动作序列和任务潜在特征输入训练后的专用模型，输出机器人连续动作。与现有技术相比，本发明提高了机器人动作生成的速度以及增强了机器人动作生成的泛化性。

公开(公告)号：CN116587276B

公开(公告)日：2024-08-27

申请号：CN202310622993.5

申请日：2023-05-30

Applicant: 同济大学

Inventor： 王志鹏 ,  顾飞达 ,  何斌 ,  周艳敏

IPC: B25J9/16

Abstract: 本发明涉及一种基于大模型的机器人线缆操作方法、装置及存储介质，其中方法包括：在虚拟环境中创建场景，通过移动线缆两端生成运动学数据；在离线阶段，利用生成的运动学数据对大模型进行微调，训练得到基于超大参数量模型的线缆运动学模型；在真实线缆上，对多个关键点进行标记，基于卡尔曼滤波，利用RGB相机感知关键点状态；基于关键点状态，构建神经网络模型并进行在线学习，得到线缆运动学模型的修正函数；基于修正后的线缆运动学模型求解优化后的控制输入，真实机器人根据优化后的控制输入对真实线缆进行控制，将真实线缆变形为目标形状。与现有技术相比，本发明可以有效拟合线缆运动学规律，具有线缆操作精确等优点。

公开(公告)号：CN116587276A

公开(公告)日：2023-08-15

申请号：CN202310622993.5

申请日：2023-05-30

Applicant: 同济大学

Inventor： 王志鹏 ,  顾飞达 ,  何斌 ,  周艳敏

IPC: B25J9/16

Abstract: 本发明涉及一种基于大模型的机器人线缆操作方法、装置及存储介质，其中方法包括：在虚拟环境中创建场景，通过移动线缆两端生成运动学数据；在离线阶段，利用生成的运动学数据对大模型进行微调，训练得到基于超大参数量模型的线缆运动学模型；在真实线缆上，对多个关键点进行标记，基于卡尔曼滤波，利用RGB相机感知关键点状态；基于关键点状态，构建神经网络模型并进行在线学习，得到线缆运动学模型的修正函数；基于修正后的线缆运动学模型求解优化后的控制输入，真实机器人根据优化后的控制输入对真实线缆进行控制，将真实线缆变形为目标形状。与现有技术相比，本发明可以有效拟合线缆运动学规律，具有线缆操作精确等优点。