公开(公告)号：CN114118125A

公开(公告)日：2022-03-01

申请号：CN202111173391.3

申请日：2021-10-08

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  赵紫权 ,  孙伟 ,  刘青山 ,  袁晓彤

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种多模态输入与空间划分的三维目标检测方法，提出以下针对性策略；原始点云数据和RGB三通道彩色图像作为多模态输入；对原始点云数据空间划分，逐行逐列索引点云分组，随机采样K个点，提取特征，最大池化层对得到的K个local‑global特征向量降维；对RGB三通道彩色图像切分，逐行索引切片，输入到二维特征提取器VGG16中，只提取第8层纹理颜色的浅层相关特征，得到K个颜色纹理特征向量；对local‑global特征向量和颜色纹理特征向量进行融合，获得融合后的特征向量；经过全连接层，输出预测结果，根据置信度，绘制BBox完成后处理任务。本发明降低了运算量，提高了分类与检测的精确度。

公开(公告)号：CN114241225A

公开(公告)日：2022-03-25

申请号：CN202111466037.X

申请日：2021-12-03

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  赵紫权 ,  孙伟 ,  刘青山 ,  袁晓彤

IPC: G06V10/762 ,  G06V10/26 ,  G06V10/44 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明公开了一种端到端生成建议框的自底向上的三维目标检测方法，属于人工智能的目标检测领域。首先通过Ball k‑means聚类算法处理原始点云获取聚类中心，将原始点云划分为多个球形类簇，将每个球形类簇里边的原始点云输入到PointNet编码和解码器中，获得输入点的逐点级语义特征；然后Shell‑based方法计算建议框几何中心，通过前景点语义分割，得到前景掩膜，端到端的生成建议框；然后对点云区域池化，进行空间坐标转化，经过多层感知机，与语义特征进行特征融合；对融合后的特征进行PointNet编码；通过总损失函数，进行Shell‑based分类回归到几何中心。