公开(公告)号：CN117593527A

公开(公告)日：2024-02-23

申请号：CN202410073323.7

申请日：2024-01-18

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  马祎炜 ,  纪家沂 ,  钱志鹏

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/82 ,  G06F16/35 ,  G06F16/36 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/096

Abstract: 本发明提供了3D实例分割技术领域的一种基于链式感知的指向性3D实例分割方法，包括：步骤S1、基于物体感知模块、关系推理模块以及跨模态交互模块构建一链式感知模型；步骤S2、获取待分割的3D实例的文本表述，通过物体感知模块识别文本表述中提到的物体；步骤S3、通过关系推理模块分别从3D实例以及文本表述中提取空间信息和关系词，并对空间信息和关系词进行关系推理，得到各物体之间的第一关联关系；步骤S4、通过跨模态交互模块从3D实例提取实例特征，并挖掘实例特征与文本表述之间的第二关联关系；步骤S5、基于第一关联关系以及第二关联关系，对文本表述指向的3D实例进行分割。本发明的优点在于：极大的提升了3D实例分割精度。

公开(公告)号：CN117593527B

公开(公告)日：2024-05-24

申请号：CN202410073323.7

申请日：2024-01-18

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  马祎炜 ,  纪家沂 ,  钱志鹏

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/82 ,  G06F16/35 ,  G06F16/36 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/096

Abstract: 本发明提供了3D实例分割技术领域的一种基于链式感知的指向性3D实例分割方法，包括：步骤S1、基于物体感知模块、关系推理模块以及跨模态交互模块构建一链式感知模型；步骤S2、获取待分割的3D实例的文本表述，通过物体感知模块识别文本表述中提到的物体；步骤S3、通过关系推理模块分别从3D实例以及文本表述中提取空间信息和关系词，并对空间信息和关系词进行关系推理，得到各物体之间的第一关联关系；步骤S4、通过跨模态交互模块从3D实例提取实例特征，并挖掘实例特征与文本表述之间的第二关联关系；步骤S5、基于第一关联关系以及第二关联关系，对文本表述指向的3D实例进行分割。本发明的优点在于：极大的提升了3D实例分割精度。

公开(公告)号：CN117634486A

公开(公告)日：2024-03-01

申请号：CN202410112132.7

申请日：2024-01-26

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  钱志鹏 ,  马祎炜 ,  纪家沂

IPC: G06F40/289 ,  G06F40/30 ,  G06F40/253 ,  G06F18/22 ,  G06F18/213 ,  G06F18/25

Abstract: 本发明提供了3D实例分割技术领域的一种基于文本信息的指向性3D实例分割方法，包括：步骤S1、创建3D实例分割模型，获取描述文本以及3D实例；步骤S2、提取3D实例的点云特征，提取描述文本的文本特征；步骤S3、对点云特征以及文本特征进行融合得到融合特征，将融合特征结合3D实例的空间位置信息构建跨模态的场景图；步骤S4、提取描述文本的第一相对位置信息，提取3D实例之间的第二相对位置信息，将第一相对位置信息以及第二相对位置信息融合进场景图；步骤S5、计算场景图与描述文本的相似度得分，计算3D实例分割模型的预测特征与描述文本的匹配得分，基于相似度得分、匹配得分对3D实例进行分割。本发明的优点：极大的提升了3D指向性实例分割精度。

公开(公告)号：CN116304145A

公开(公告)日：2023-06-23

申请号：CN202310298214.0

申请日：2023-03-24

Applicant: 厦门大学深圳研究院

Inventor： 纪荣嵘 ,  孙晓帅 ,  马祎炜 ,  钱志鹏 ,  纪家沂

IPC: G06F16/532 ,  G06F18/22 ,  G06V10/82 ,  G06V10/42 ,  G06V10/44 ,  G06F40/279 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08

Abstract: 基于文本的人物检索的双向一对多嵌入对齐方法，涉及人物检索方法。1)使用预训练好的ResNet‑50主干网络提取图片特征，使用预训练好的BERT及可训练的Bi‑LSTM模型提取获取全局的视觉与文本特征；2)将视觉特征V均匀分割成K个不重叠部分，采用单词注意模块获得K个不同的文本特征，获取视觉局部特征与文本局部特征；3)建立非局部模块，基于余弦相似性得到非局部的视觉特征和语言特征；4)建立一种全新的双向一对多嵌入范式，具体分为双向嵌入和一对多嵌入两块功能；5)采用身份损失和复合排序损失，两者相加构造整体损失函数进行优化。模型能确定优化方向，同时解决图文对一对多的匹配问题。

公开(公告)号：CN117634486B

公开(公告)日：2024-05-31

申请号：CN202410112132.7

申请日：2024-01-26

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  钱志鹏 ,  马祎炜 ,  纪家沂

IPC: G06F40/289 ,  G06F40/30 ,  G06F40/253 ,  G06F18/22 ,  G06F18/213 ,  G06F18/25

Abstract: 本发明提供了3D实例分割技术领域的一种基于文本信息的指向性3D实例分割方法，包括：步骤S1、创建3D实例分割模型，获取描述文本以及3D实例；步骤S2、提取3D实例的点云特征，提取描述文本的文本特征；步骤S3、对点云特征以及文本特征进行融合得到融合特征，将融合特征结合3D实例的空间位置信息构建跨模态的场景图；步骤S4、提取描述文本的第一相对位置信息，提取3D实例之间的第二相对位置信息，将第一相对位置信息以及第二相对位置信息融合进场景图；步骤S5、计算场景图与描述文本的相似度得分，计算3D实例分割模型的预测特征与描述文本的匹配得分，基于相似度得分、匹配得分对3D实例进行分割。本发明的优点：极大的提升了3D指向性实例分割精度。