公开(公告)号：CN115937043B

公开(公告)日：2023-07-04

申请号：CN202310009699.7

申请日：2023-01-04

Applicant: 南京邮电大学

Inventor： 王琴 ,  王怀钰 ,  石键瀚 ,  李剑

IPC: G06T5/00 ,  G06T7/73 ,  G06T17/00 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明属于三维点云补全领域，具体涉及基于触觉辅助的三维点云补全方法。克服了单一视角下的缺失点云生成补全点云的过程中局部细节缺失的问题，利用局部触觉信息改善点云补全效果。主要包括以下步骤：步骤1、初始化Pybullet仿真模拟环境，使用连接有电动夹爪的机械臂和触觉传感器获取触觉图片；步骤2、将触觉图片转化为触觉点云，并与缺失点云进行拼接；步骤3、使用数据集训练PoinTr网络；步骤4、将拼接后的点云输入到PoinTr网络，得到补全后的完整点云。

公开(公告)号：CN117274764B

公开(公告)日：2024-02-13

申请号：CN202311565238.4

申请日：2023-11-22

Applicant: 南京邮电大学

Inventor： 王琴 ,  石键瀚 ,  王怀钰 ,  李剑

IPC: G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明属于三维点云补全领域，公开了一种多模态特征融合的三维点云补全方法，包括：构建用于多模态特征融合的三维点云补全网络，触觉融合主要在触觉特征融合模块与触觉辅助查询生成模块，触觉特征融合模块将不完整点云和触觉点云分别提取特征，并将触觉特征和不完整点云特征依次融合；触觉辅助查询生成模块使用触觉点云生成触觉查询，触觉查询拼接上全局查询得到查询嵌入，全局中心点和触觉中心点拼接得到查询点，查询嵌入与查询点送入Transformer解码器，通过交叉注意力充分利用触觉信息进行解码。本发明基于不完整点云特征和触觉点云特征融合的方法，充分利用了触觉信息，补充了缺失部分的几何细节，提高了点云补全的质量。

公开(公告)号：CN117274764A

公开(公告)日：2023-12-22

申请号：CN202311565238.4

申请日：2023-11-22

Applicant: 南京邮电大学

Inventor： 王琴 ,  石键瀚 ,  王怀钰 ,  李剑

IPC: G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明属于三维点云补全领域，公开了一种多模态特征融合的三维点云补全方法，包括：构建用于多模态特征融合的三维点云补全网络，触觉融合主要在触觉特征融合模块与触觉辅助查询生成模块，触觉特征融合模块将不完整点云和触觉点云分别提取特征，并将触觉特征和不完整点云特征依次融合；触觉辅助查询生成模块使用触觉点云生成触觉查询，触觉查询拼接上全局查询得到查询嵌入，全局中心点和触觉中心点拼接得到查询点，查询嵌入与查询点送入Transformer解码器，通过交叉注意力充分利用触觉信息进行解码。本发明基于不完整点云特征和触觉点云特征融合的方法，充分利用了触觉信息，补充了缺失部分的几何细节，提高了点云补全的质量。

公开(公告)号：CN115937043A

公开(公告)日：2023-04-07

申请号：CN202310009699.7

申请日：2023-01-04

Applicant: 南京邮电大学

Inventor： 王琴 ,  王怀钰 ,  石键瀚 ,  李剑

IPC: G06T5/00 ,  G06T7/73 ,  G06T17/00 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明属于三维点云补全领域，具体涉及基于触觉辅助的三维点云补全方法。克服了单一视角下的缺失点云生成补全点云的过程中局部细节缺失的问题，利用局部触觉信息改善点云补全效果。主要包括以下步骤：步骤1、初始化Pybullet仿真模拟环境，使用连接有电动夹爪的机械臂和触觉传感器获取触觉图片；步骤2、将触觉图片转化为触觉点云，并与缺失点云进行拼接；步骤3、使用数据集训练PoinTr网络；步骤4、将拼接后的点云输入到PoinTr网络，得到补全后的完整点云。