公开(公告)号：CN117975241B

公开(公告)日：2024-09-20

申请号：CN202410370335.6

申请日：2024-03-29

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  杨丹妮 ,  纪家沂 ,  马祎炜 ,  王昊为

IPC: G06V10/82 ,  G06V10/26 ,  G06V10/25 ,  G06V10/74 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明提供一种面向指向性目标分割的半监督学习方法，包括：将RES的三个主流数据集分别拆分为有标数据和无标数据，有标数据包含图文对和分割的真实掩码，无标数据只包含图文对；利用SAM离线地构建了一个分割掩码候选库，分割掩码候选库包含了对无标数据中无标图片的多尺度候选分割；在预热阶段：使用带标签的数据对预训练模型进行训练，训练结束后保存模型参数赋值给教师和学生模型；在师生迭代互相学习阶段：将无标图像输入教师模型得到伪标签，从分割掩码候选库中获取与伪标签最匹配的分割掩码替换伪标签，得到优化后的伪标签，以监督学生的训练；同时，有标数据继续有监督学习。本发明有效提高伪标签掩码质量，同时提高未标注数据的利用率。

公开(公告)号：CN118247799A

公开(公告)日：2024-06-25

申请号：CN202410661746.0

申请日：2024-05-27

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  杨丹妮 ,  董若含 ,  纪家沂 ,  马祎炜

IPC: G06V30/41 ,  G06V30/19 ,  G06V30/40 ,  G06V30/148 ,  G06F40/289

Abstract: 本发明公开一种利用文本到图像扩散模型实现短语级定位的方法，基于PNG任务，引入DiffPNG框架，将PNG任务视为一个定位‑分割‑细化的解决范式，DiffPNG框架主要包括特征提取器、LSP模块、主语词聚焦的特征聚合器和SMR模块；具体执行以下步骤：特征提取器获取图像潜在噪声表示和文本特征编码并输入扩散模型；LSP模块在逆扩散过程中利用交叉注意力来识别每个实例的位置并获得高置信度的像素点作为锚点，对锚点使用自注意力进行聚合并生成分割掩码；主语词聚焦的特征聚合器基于相似性进行自适应特征聚合，使用点乘法计算PNG基准数据集的名词短语中每个词特征与最后一个词特征之间的成对相似度；SMR模块筛选出由SAM生成的候选掩码与分割掩码合并，生成最终的输出结果。

公开(公告)号：CN116050409A

公开(公告)日：2023-05-02

申请号：CN202310130117.0

申请日：2023-02-17

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  杨丹妮 ,  王昊为 ,  纪家沂

IPC: G06F40/289 ,  G06F40/284 ,  G06N3/08 ,  G06N3/0464

Abstract: 统一级联的全景叙事检测与分割方法，涉及全景叙事检测与分割。1)多模态编码；2)多模态交互；3)坐标引导聚合CGA；4)质心驱使定位BDL；5)训练损失。采用基于动态内核的方式构建统一的框架，为每个名词短语构建一个可学习的内核，预测其对应的掩码和边界框。针对预测冲突问题，提出两种新的级联模块来连续处理分割和检测，以实现跨任务对齐，即坐标引导聚合CGA模块和质心驱动定位BDL模块，利用分割掩码的质心作为锚点，将分割和检测串联连接，使两个任务自然对齐。两个模块的联合相互促进各自性能，即掩码的位置信息向前驱动BDL模块产生准确的方框，BDL模块的反向引导促进CGA模块在训练过程中区分不同实例的能力。

公开(公告)号：CN118247799B

公开(公告)日：2024-09-06

申请号：CN202410661746.0

申请日：2024-05-27

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  杨丹妮 ,  董若含 ,  纪家沂 ,  马祎炜

IPC: G06V30/41 ,  G06V30/19 ,  G06V30/40 ,  G06V30/148 ,  G06F40/289

Abstract: 本发明公开一种利用文本到图像扩散模型实现短语级定位的方法，基于PNG任务，引入DiffPNG框架，将PNG任务视为一个定位‑分割‑细化的解决范式，DiffPNG框架主要包括特征提取器、LSP模块、主语词聚焦的特征聚合器和SMR模块；具体执行以下步骤：特征提取器获取图像潜在噪声表示和文本特征编码并输入扩散模型；LSP模块在逆扩散过程中利用交叉注意力来识别每个实例的位置并获得高置信度的像素点作为锚点，对锚点使用自注意力进行聚合并生成分割掩码；主语词聚焦的特征聚合器基于相似性进行自适应特征聚合，使用点乘法计算PNG基准数据集的名词短语中每个词特征与最后一个词特征之间的成对相似度；SMR模块筛选出由SAM生成的候选掩码与分割掩码合并，生成最终的输出结果。

公开(公告)号：CN117975241A

公开(公告)日：2024-05-03

申请号：CN202410370335.6

申请日：2024-03-29

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  杨丹妮 ,  纪家沂 ,  马祎炜 ,  王昊为

IPC: G06V10/82 ,  G06V10/26 ,  G06V10/25 ,  G06V10/74 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明提供一种面向指向性目标分割的半监督学习方法，包括：将RES的三个主流数据集分别拆分为有标数据和无标数据，有标数据包含图文对和分割的真实掩码，无标数据只包含图文对；利用SAM离线地构建了一个分割掩码候选库，分割掩码候选库包含了对无标数据中无标图片的多尺度候选分割；在预热阶段：使用带标签的数据对预训练模型进行训练，训练结束后保存模型参数赋值给教师和学生模型；在师生迭代互相学习阶段：将无标图像输入教师模型得到伪标签，从分割掩码候选库中获取与伪标签最匹配的分割掩码替换伪标签，得到优化后的伪标签，以监督学生的训练；同时，有标数据继续有监督学习。本发明有效提高伪标签掩码质量，同时提高未标注数据的利用率。