公开(公告)号：CN119427349A

公开(公告)日：2025-02-14

申请号：CN202411502418.2

申请日：2024-10-25

Applicant: 复旦大学

Inventor： 付彦伟 ,  王天宇 ,  侯佳伟 ,  薛向阳

IPC: B25J9/16

Abstract: 本发明涉及一种用于多场景环境下的目标驱动移动抓取控制方法，包括：输入多子场景的RGB‑D采样序列，利用带语义的稀疏3D点云来初始化整个场景的3D高斯模型；通过查询粗粒度高斯获取目标的近似位姿，导航移动底盘接近目标，将对目标进行位姿估计的范围缩小到相应子场景；在移动过程中，采用基于扩散的深度补全优化细粒度高斯，获得目标的精确位姿；针对细粒度高斯模型进行高斯编辑，通过高斯修复以得到机器人操作终点位姿；根据机器人操作起点位姿和操作终点位姿，控制机器人机械臂完成相应动作。与现有技术相比，本发明结合粗略的场景先验和精细的位姿估计，能实现高效、精准的多场景移动抓取控制，确保机器人能够在复杂多场景环境中准确执行任务。

公开(公告)号：CN119068476A

公开(公告)日：2024-12-03

申请号：CN202411201560.3

申请日：2024-08-29

Applicant: 复旦大学 ,  上海新氦类脑智能科技有限公司

Inventor： 薛向阳 ,  梁龙飞 ,  付彦伟 ,  侯佳伟

IPC: G06V20/64 ,  G06V30/14 ,  G06V30/18 ,  G06V30/19

Abstract: 本发明提供一种基于隐式表达感知存储场景布局与物体信息的方法，通过输入的图片序列数据，建立场景隐式编码预测得到的特征与通过大模型得到的特征的对比损失，利用在海量大规模互联网数据集中训练的大模型的知识，通过端到端的训练方式使得场景隐式编码学习场景中位置、区域、物体之间的关系，从而能够利用场景隐式编码同步建立空间坐标与物体语义信息、区域信息的映射，解决了传统场景理解算法无法理解场景布局信息的问题，因此可以借助区域信息完成之前难以做到的场景区域理解推理相关任务。此外，由于训练场景隐式编码所使用的目标特征为预测通过现有的视觉语言大模型得到的物体语义信息与区域信息，因此训练所需要的标注成本极低。