公开(公告)号：CN117744706A

公开(公告)日：2024-03-22

申请号：CN202311772257.4

申请日：2023-12-21

Applicant: 哈尔滨工业大学

Inventor： 杨光磊 ,  徐琬 ,  黄天毓 ,  左旺孟

IPC: G06N3/045 ,  G06F18/2415 ,  G06N3/084 ,  G06F18/25 ,  G06F18/22 ,  G06F18/213 ,  G06N3/0475 ,  G06N3/094

Abstract: 一种基于2D预训练模型的3D小样本连续学习方法，属于3D小样本连续学习领域。本发明针对现有2D预训练模型不适用3D少样本类增量学习的问题。包括对每个点云样本进行多视角渲染与2D特征编码，并合并得到深度图全局特征；对每个点云样本进行3D编码与调节得到与2D对齐后3D点云特征；将深度图全局特征与3D点云特征融合得到融合后全局特征；采用主成分对标签特征向量和融合后全局特征进行降维操作，计算无冗余全局特征与各标签特征向量的重归一化余弦相似度，并计算分类概率损失值与对抗学习损失值，得到总损失值；对每个新增类点云样本库中的新增类点云样本进行上述过程数据处理实现3D小样本连续学习。本发明用于3D小样本连续学习。

公开(公告)号：CN119888410A

公开(公告)日：2025-04-25

申请号：CN202510069474.X

申请日：2025-01-16

Applicant: 哈尔滨工业大学

Inventor： 苏晗 ,  闫子飞 ,  黄天毓 ,  左旺孟

IPC: G06V10/774 ,  G06V10/72 ,  G06T15/00 ,  G06V10/40 ,  G06F40/279 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06V20/64 ,  G06N3/0895 ,  G06N3/045

Abstract: 一种基于数据筛选优化的多视角协同跨模态3D感知模型训练方法，属于计算机视觉中的跨模态学习领域。本发明针对现有跨模态学习方法中存在的数据质量差、域间差异大以及空间信息丢失等问题。包括：对原始点云数据进行筛选获得筛选后点云数据；获得每个筛选后点云数据的一组多视角渲染图；采用筛选后点云数据对点云编码器进行训练；采用多视角渲染图对多视角编码器训练；将编码后点云特征、编码后多视角特征和编码后文本特征对齐到共享表示空间；最小化对比损失，使相同物体的多模态特征在所述共享表示空间尽量接近，并使不同物体的多模态特征在所述共享表示空间保持分离，并进行网络参数的调整。本发明可应用于三维感知技术的优化和提升。