-
公开(公告)号：CN116993965A
公开(公告)日：2023-11-03
申请号：CN202310939494.9
申请日：2023-07-28
Applicant: 复旦大学
Abstract: 本发明涉及一种机器人目标物体抓取方法，该方法包括：步骤S1、使用大语言模型来解析用户需求，生成针对目标物体的描述模版；步骤S2、将目标物体的描述模版输入至二维视觉定位网络，生成目标物体的二维定位，处理后得到目标物体点云数据；步骤S3、基于目标物体点云数据，采用类级别位姿和尺寸估计网络对目标物体的位姿进行估计；步骤S4、根据目标物体位姿估计结果引导机械臂进行目标物体抓取。与现有技术相比，本发明具有人机交互效果好、准确性高的优点。
-
公开(公告)号：CN113012122B
公开(公告)日：2022-07-29
申请号：CN202110266160.0
申请日：2021-03-11
Applicant: 复旦大学
Abstract: 本发明提供了一种类别级6D位姿与尺寸估计方法及装置，基于图像中目标物体的深度观测数据以及拍摄该图像的相机内参进行6D位姿与尺寸估计，其特征在于，包括如下步骤：基于相机内参将深度观测数据重投影到三维空间并归一化，得到目标物体的部分观测点云数据；根据目标物体从模板点云数据库中选出与目标类型相同的规范化模板点云数据；基于部分观测点云数据以及规范化模板点云数据利用几何特征学习网络对目标物体的6D位姿及尺寸进行估计，得到对应的预测位姿与预测尺寸。本发明的类别级6D位姿与尺寸估计方法及装置，可以准确估计出类别已知但未见过实例物体的6D位姿和尺寸，具有较高的准确性、泛化能力以及实用性。
-
公开(公告)号：CN114373127A
公开(公告)日：2022-04-19
申请号：CN202111609585.3
申请日：2021-12-24
Applicant: 复旦大学
IPC: G06V20/10 , G06V10/40 , G06V10/77 , G06V10/774 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于手绘草图的目标物可抓取点检测方法及系统，其中抓取点检测方法包括：获取标注好抓取框的自然场景图片集以及和场景中物体对应的手绘草图样本集，并对样本进行预处理；将草图和目标物体可抓取框进行配对，构建训练集；构建基于草图内容为引导的可抓取框检测网络；训练基于草图内容为引导的可抓取框检测网络；使用训练好的可抓取框检测网络定位自然场景图片中与草图内容相符的物体所对应的可抓取框。与现有技术相比，本发明具有有效实现基于草图引导机器人完成抓取目标物任务、网络收敛快、泛化能力强等优点。
-
Patent Agency Ranking
公开(公告)号：CN114399515B
公开(公告)日：2024-11-26
申请号：CN202111598303.4
申请日：2021-12-24
Applicant: 复旦大学
Abstract: 本发明涉及一种基于语言描述的类级别目标物6D位姿获取方法及存储介质，其中6D位姿获取方法包括：构建基于语言特征及图像特征的物体二维定位模型；将图片及语言描述输入至二维定位模型，从而根据语言描述生成图片中目标物体的二维定位；将二维定位对深度图像利用相机内参进行反投影以获取目标区域对应的点云数据；构建用于去除背景点云的点云分割模型，将目标区域点云输入点云分割模型以获取目标物体的点云数据；构建用于估计物体在三维空间中位姿的类级别六自由度位姿估计模型，将目标物体点云数据输入至类级别物体位姿估计模型获取目标物体的位姿。与现有技术相比，本发明具有准确性高、实用性强等优点。
-
公开(公告)号：CN113012122A
公开(公告)日：2021-06-22
申请号：CN202110266160.0
申请日：2021-03-11
Applicant: 复旦大学
Abstract: 本发明提供了一种类别级6D位姿与尺寸估计方法及装置，基于图像中目标物体的深度观测数据以及拍摄该图像的相机内参进行6D位姿与尺寸估计，其特征在于，包括如下步骤：基于相机内参将深度观测数据重投影到三维空间并归一化，得到目标物体的部分观测点云数据；根据目标物体从模板点云数据库中选出与目标类型相同的规范化模板点云数据；基于部分观测点云数据以及规范化模板点云数据利用几何特征学习网络对目标物体的6D位姿及尺寸进行估计，得到对应的预测位姿与预测尺寸。本发明的类别级6D位姿与尺寸估计方法及装置，可以准确估计出类别已知但未见过实例物体的6D位姿和尺寸，具有较高的准确性、泛化能力以及实用性。
-
公开(公告)号：CN114373127B
公开(公告)日：2025-04-29
申请号：CN202111609585.3
申请日：2021-12-24
Applicant: 复旦大学
IPC: G06V20/10 , G06V10/40 , G06V10/77 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明涉及一种基于手绘草图的目标物可抓取点检测方法及系统，其中抓取点检测方法包括：获取标注好抓取框的自然场景图片集以及和场景中物体对应的手绘草图样本集，并对样本进行预处理；将草图和目标物体可抓取框进行配对，构建训练集；构建基于草图内容为引导的可抓取框检测网络；训练基于草图内容为引导的可抓取框检测网络；使用训练好的可抓取框检测网络定位自然场景图片中与草图内容相符的物体所对应的可抓取框。与现有技术相比，本发明具有有效实现基于草图引导机器人完成抓取目标物任务、网络收敛快、泛化能力强等优点。
-
公开(公告)号：CN116551697A
公开(公告)日：2023-08-08
申请号：CN202310717463.9
申请日：2023-06-16
Applicant: 复旦大学
Abstract: 本发明涉及一种基于弱监督液体感知的机器人视觉闭环倾倒方法及装置，该方法包括以下步骤：半自动化收集带图像级标签的倒水场景图像；构建弱监督液体感知模型，以生成类别激活图；利用训练后的弱监督液体感知模型生成的类别激活图，提取二维液体区域；进行源容器和目标容器的位姿和尺寸估计；基于二维液体区域、以及位姿和尺寸估计，重建三维液体轨迹；根据目标容器的位姿和三维液体轨迹形成反馈，操控机器人调整源容器位置将水流倒入目标容器，实现视觉闭环控制。与现有技术相比，本发明可精准控制液体在倾倒过程中不洒出目标容器。
-
公开(公告)号：CN114399515A
公开(公告)日：2022-04-26
申请号：CN202111598303.4
申请日：2021-12-24
Applicant: 复旦大学
Abstract: 本发明涉及一种基于语言描述的类级别目标物6D位姿获取方法及存储介质，其中6D位姿获取方法包括：构建基于语言特征及图像特征的物体二维定位模型；将图片及语言描述输入至二维定位模型，从而根据语言描述生成图片中目标物体的二维定位；将二维定位对深度图像利用相机内参进行反投影以获取目标区域对应的点云数据；构建用于去除背景点云的点云分割模型，将目标区域点云输入点云分割模型以获取目标物体的点云数据；构建用于估计物体在三维空间中位姿的类级别六自由度位姿估计模型，将目标物体点云数据输入至类级别物体位姿估计模型获取目标物体的位姿。与现有技术相比，本发明具有准确性高、实用性强等优点。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.024 seconds)
