公开(公告)号：CN120014272A

公开(公告)日：2025-05-16

申请号：CN202510093896.0

申请日：2025-01-21

Applicant: 厦门大学

Inventor： 曹刘娟 ,  牛鸿伟 ,  林将航 ,  张声传

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开了一种基于语义一致性和风格多样性的域泛化语义分割方法，包括以下步骤：S1、基于CLIP视觉编码器和文本编码器进行视觉和文本特征提取；S2、基于语义查询增强器利用图文模态间的语义一致性，建立跨模态语义关联并聚合相关语义特征以增强初始对象查询；S3、基于文本驱动的风格变换模块利用文本嵌入差异，引导图像特征低频幅度谱的变换；S4、通过协同加权风格对比损失和风格聚合损失，加强领域间特征的分离和领域内特征的聚合；S5、基于掩码解码器使用语义查询逐层进行掩码预测、类别预测和查询细化；该方法在各个跨域数据集上实现了显著优于现有方法的最佳性能，同时保持模型的训练开销低、推理速度快，具有显著的实用价值和应用前景。

公开(公告)号：CN120032371A

公开(公告)日：2025-05-23

申请号：CN202510109507.9

申请日：2025-01-23

Applicant: 厦门大学

Inventor： 曹刘娟 ,  牛鸿伟 ,  林将航 ,  张声传

IPC: G06V20/70 ,  G06V10/26 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06F40/30 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种面向高效的开放词汇全景分割方法，包括以下步骤：S1、基于多尺度特征提取器和轻量级聚合器进行视觉特征提取和聚合；S2、利用文本编码器对任意类别词汇进行编码，得到文本嵌入 S3、基于词汇感知选择模块提升视觉聚合特征的语义理解，减轻掩码解码器的特征交互负担；S4、基于双向动态嵌入专家，通过动态分配专家权重，生成具有语义感知和空间感知的实例嵌入；S5、基于轻量级解码器，使用对象核逐层进行掩码预测和细化，利用对象核和文本嵌入进行点积作为类别预测；该方法在实现相当性能的同时，旨在减少模型计算开销、加快推理速度，具有显著的实用价值和应用前景。