公开(公告)号：CN114708475A

公开(公告)日：2022-07-05

申请号：CN202210323717.4

申请日：2022-03-30

Applicant: 南京大学

Inventor： 郭延文 ,  赵志伟 ,  吴政亿 ,  任大勇

IPC: G06V10/80 ,  G06V10/26 ,  G06V10/774 ,  G06V10/56 ,  G06V10/82 ,  G06V10/764 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种用于3D场景理解的点云多模态特征融合网络方法，包括以下步骤：步骤1：收集现有的点云数据集，其中数据集包括S3DIS数据集和ModelNet40数据集，数据集中的数据包括含颜色信息的点云数据；步骤2：根据点云数据从前视图、后视图、顶视图、底视图、右侧视图、左侧视图生成其对应的多视图的点云投影图像和点频图像；步骤3：使用PointNet++提取点云的全局特征和部分局部特征；步骤4：使用VGG16分别提取不同的视图图像特征并聚合成一个全局特征；步骤5：将点云分支和图像分支的特征进行拼接合并；步骤6：将拼接后的特征通过两个1x1的卷积层融合点云特征和图像特征；步骤7：将步骤6得到的融合特征特征进行逐位加操作；步骤8：将图像特征和步骤7得到的特征进行拼接合并；步骤9：重复步骤6、7、8两次后得到最后的融合特征；步骤10：对于步骤9的输出的特征使用语义分割网络预测点云语义信息，使用标注信息进行监督训练；步骤11：对于步骤9的输出的特征使用分类预测点云类别信息，使用标注信息进行监督训练；步骤12：点云语义分割和类别的显示，本发明是一个精度更高且更加鲁棒的点云语义分割模型，可用于绝大多数的室内场景理解任务中。