-
公开(公告)号：CN117400242A
公开(公告)日：2024-01-16
申请号：CN202311390080.1
申请日：2023-10-23
IPC: B25J9/16
Abstract: 本发明公开了一种凝视引导的机器人交互式物品抓取方法、系统、设备及存储介质，所述方法包括以下步骤：(1)采用RGB‑D相机采集桌面物体场景图像，生成包括物体之间相对位置关系的树状结构描述；(2)在RGB‑D相机中采用几何特征方法计算人的头部姿态，在3D空间中估计人的视线向量；(3)计算人的视线沿长线与物体点云交汇情况，判断人的视线是否足够精确地选中某个物品；(4)生成包含物体及其相对位置关系的机器人输出语音提示，询问到底指代哪个物品，待人语音确认后最终锁定物体；(5)在RGB‑D点云中估计物体6D姿态，最终引导机器人完成抓取；本发明避免了仅靠视觉造成的锁定错误目标物品，锁定指代目标物体的效率更高。
-
公开(公告)号：CN117392493A
公开(公告)日：2024-01-12
申请号：CN202311372830.2
申请日：2023-10-23
Abstract: 本发明公开了一种融合凝视的视听协同物品指代表达理解与分割方法、系统、设备及存储介质，所述方法包括以下步骤：(1)通过对物品指代OCID‑Ref数据集进行预处理，构建指代意图欠明确表达的数据集OCID‑underRef；(2)构造凝视引导的视觉定位网络GVG；(3)在真实人机交互场景下通过部署凝视引导的视觉定位网络来实现交互式人机物品递送；本发明减轻了数据集采集与标注的人力工作量；能够在语言描述的物品指代意图欠明确的情况下，结合人的凝视注意力检测来克服不确定性，尽量避免了因物品指代意图模糊而造成的人机多次问答交互。
-
公开(公告)号：CN114918918B
公开(公告)日：2023-07-25
申请号：CN202210581185.4
申请日：2022-05-26
Applicant: 东南大学
IPC: B25J9/16
Abstract: 本发明涉及机器人抓取操作领域，公开一种含领域自适应的机器人乱序目标推抓方法，包括以下步骤：1）搭建与真实场景相似的仿真环境，训练推‑抓操作协同策略的深度强化学习模型；2）分别在真实环境和仿真环境中采集样本，进行相应预处理构成用于训练图像迁移网络的数据集；3）构建基于多级注意力聚合及一致性约束的双向域对抗迁移网络，在所采集的非配对图像数据集上进行训练，实现将实物图像迁移为伪仿真图像并且迁移效果满足机器人推‑抓场景中的任务一致性；4）将解耦训练的图像迁移模块和机器人操作技能模型进行级联部署，实现机器人对现实环境中物体的乱序推散和抓取。本发明可用于基于RGB‑D相机的机器人乱序目标抓推协同策略迁移学习问题。
-
公开(公告)号：CN114918918A
公开(公告)日：2022-08-19
申请号：CN202210581185.4
申请日：2022-05-26
Applicant: 东南大学
IPC: B25J9/16
Abstract: 本发明涉及机器人抓取操作领域，公开一种含领域自适应的机器人乱序目标推抓方法，包括以下步骤：1）搭建与真实场景相似的仿真环境，训练推‑抓操作协同策略的深度强化学习模型；2）分别在真实环境和仿真环境中采集样本，进行相应预处理构成用于训练图像迁移网络的数据集；3）构建基于多级注意力聚合及一致性约束的双向域对抗迁移网络，在所采集的非配对图像数据集上进行训练，实现将实物图像迁移为伪仿真图像并且迁移效果满足机器人推‑抓场景中的任务一致性；4）将解耦训练的图像迁移模块和机器人操作技能模型进行级联部署，实现机器人对现实环境中物体的乱序推散和抓取。本发明可用于基于RGB‑D相机的机器人乱序目标抓推协同策略迁移学习问题。
-
-
-
Search Results
4
records
(took 0.019 seconds)
