一种基于多目标分类的开放词汇目标检测方法、系统、介质及程序产品

    公开(公告)号:CN119919634A

    公开(公告)日:2025-05-02

    申请号:CN202411980224.3

    申请日:2024-12-31

    Applicant: 厦门大学

    Abstract: 一种基于多目标分类的开放词汇目标检测方法、系统、介质及程序产品,属于计算机视觉技术领域,该方法利用上下文信息,检测出训练集中没有出现的过的新的类别的物体,包括如下步骤:利用主干特征提取网络对图像进行特征提取得到特征图;区域建议网络在特征图中生成一组候选框,对所有候选框应用候选框拓展模块,得到扩展框;利用蒸馏模块从CLIP图像编码器中学习知识得到蒸馏损失;将候选框和扩展框提取的特征和文本特征输入多目标分类模块中,得到分类损失;结合蒸馏损失和分类损失对模型进行训练;最后,将待检测的图片输入到训练后的模型中,生成预测的目标区域和对应的类别名称及对应的置信度,以此实现更精准的开放词汇目标检测。

    一种基于语义驱动Transformer模型的弱监督目标定位方法

    公开(公告)号:CN119648788A

    公开(公告)日:2025-03-18

    申请号:CN202411674602.5

    申请日:2024-11-21

    Applicant: 厦门大学

    Abstract: 本发明公开了一种基于语义驱动Transformer模型的弱监督目标定位方法,包括以下步骤:S1、对待检测的图片进行预处理,用于将待检测的图片转换为适合神经网络处理的格式;S2、将预处理后待检测的图片及其对应的图片级别的标签送入神经网络;所述神经网络包括Transformer主干网络、语义内核集成模块SKI和语义增强适配模块SBA;S3、神经网络对图片进行处理,在训练过程中输出待检测图片对应每一个类别的概率数值;S4、在测试过程中输出待检测图片预测的框的坐标、类别和得分;本发明通过使注意力图更加专注于前景区域,在弱监督环境下实现了更精确的、语义感知的目标定位,从而提高了模型的解释精度和相关性。

    一种基于SAM模型的快速且显存友好的图像分割方法

    公开(公告)号:CN119205801A

    公开(公告)日:2024-12-27

    申请号:CN202411248458.9

    申请日:2024-09-06

    Applicant: 厦门大学

    Abstract: 一种基于SAM模型的快速且显存友好的图像分割方法,所述图像分割方法包括如下步骤:第一步,基于SAM模型训练建立U‑SAM模型;该U‑SAM模型采用如下步骤进行训练:步骤S1:建立SAM模型和U‑SAM模型;通过知识蒸馏压缩SAM模型的图像编码器,得到U‑SAM模型的语义&尺度感知图像编码器,以提升SAM的语义感知能力;步骤S2:冻结SAM模型相关参数,保留可提示分割能力,训练U‑SAM模型的双子令牌掩码解码器,解决难以控制提示嵌入存在的问题。第二步,利用所述U‑SAM模型实现可提示分割和通用图像分割;由此,可通过一个快速且显存友好的框架实现提示和通用的分割任务。

    图像编码器、高精度交互式图像分割方法、电子设备和存储介质

    公开(公告)号:CN118864490A

    公开(公告)日:2024-10-29

    申请号:CN202410834157.8

    申请日:2024-06-26

    Applicant: 厦门大学

    Abstract: 本发明公开一种图像编码器、高精度交互式图像分割方法、电子设备和存储介质,解决现有技术中存在的问题,提高交互式分割的计算效率和分割质量,能够在高分辨率图像上实现高精度交互式分割。图像编码器包括以串联形式构建的1个图像嵌入模块、12个Transformer模块和4个循环扫描模块,每3个Transformer模块为1个阶段,每个阶段中最后的Transformer模块前插入1个循环扫描模块;Transformer模块包括串联的注意力计算模块和前馈神经网络模块;注意力计算模块的注意力包括一般窗口注意力和平移窗口注意力,12个Transformer模块中交替分布着这两种注意力。图像编码器主要以窗口注意力计算为主,构建了一般窗口注意力和平移窗口注意力的计算,并配合循环扫描模块来强化图像的全局特征信息融合。

    基于双旋转局部不一致性学习的半监督伪装目标检测方法

    公开(公告)号:CN118247607A

    公开(公告)日:2024-06-25

    申请号:CN202410658185.9

    申请日:2024-05-27

    Applicant: 厦门大学

    Abstract: 本发明公开一种基于双旋转局部不一致性学习的半监督伪装目标检测方法,针对于“伪装目标数据的像素级标注耗时耗力,半监督学习提供了潜在解决方案,但是直接将成功的半监督范式迁移到伪装目标检测任务上,面临伪标签存在局部性噪声的问题,即同一伪标签内不同区域噪声程度不同,直接用带噪声伪标签进行监督会损害模型性能”的问题,基于经典的半监督学习教师‑学生范式,同时提出了一种新颖的双旋转局部不一致性学习。双旋转局部不一致性学习通过不同旋转视图的局部预测不一致对同一伪标签不同区域赋予不同权重来缓解局部噪声问题,帮助模型自适应调整不同质量伪标签的贡献,使伪装目标检测模型获得充分监督的同时,避免确认偏差。

    基于全流水线改良的小目标检测方法

    公开(公告)号:CN118229964A

    公开(公告)日:2024-06-21

    申请号:CN202410652793.9

    申请日:2024-05-24

    Applicant: 厦门大学

    Abstract: 本发明公开一种基于全流水线改良的小目标检测方法,在目标检测流水线的三个阶段都进行了改进,综合提高了对小目标的检测性能,其包括以下步骤:对待检测图片进行预处理,然后将预处理后的待检测图片及其对应的标签送入神经网络;神经网络在检测流水线的上游对待检测图片进行特征提取和特征融合并进行提纯操作得到特征图;在检测流水线的中游使用IoU、位置偏移指标和尺寸约束指标共同为特征图的候选框评分并分配正标签和负标签;在检测流水线的下游,将分配好标签的训练样本和特征图一起送到频率解耦检测头中进行分类和回归,输出待检测图片中的待检测目标对应每一个类别的概率数值以及对应的位置信息。

    实时的交互式图像分割方法

    公开(公告)号:CN118229700A

    公开(公告)日:2024-06-21

    申请号:CN202410645393.5

    申请日:2024-05-23

    Applicant: 厦门大学

    Abstract: 本发明公开一种实时的交互式图像分割方法,涉及计算机视觉技术领域,引入了一种创新的处理交互分割问题的流程,能够提高交互式分割任务的计算效率,包括:步骤1、使用大型视觉模型对图像进行并行预处理,得到图像特征;步骤2、通过一轻量级的交互式分割模块,实时处理图像特征和用户输入的交互信息,能够从图像中准确地分割出目标区域,并根据用户的反馈不断提高分割的准确度。本发明通过将来自大型视觉模型预处理的图像特征与用户输入的交互信息相结合,并使用单一的轻量级交互式分割模块执行交互式分割,这种设计不仅保持了模型分割性能的竞争力,同时也优化了模型推理流程,显著提高了计算效率,为实时交互式图像分割提供了有效的解决方案。

    一种基于特征扩展性学习的弱监督目标定位方法

    公开(公告)号:CN113838130A

    公开(公告)日:2021-12-24

    申请号:CN202111004064.5

    申请日:2021-08-30

    Applicant: 厦门大学

    Inventor: 曹刘娟 陈志威

    Abstract: 一种基于特征扩展性学习的弱监督目标定位方法,涉及计算机图像视觉处理。提供基于弱监督的训练方式以低成本的图像标注,以仅有的弱标签信息获取更好的特征,达到比较好的训练结果的一种基于特征扩展性学习的弱监督目标定位方法。包括如下步骤:1)对待检测的图片进行预处理,然后将预处理后待检测的图片及其对应的图片级别的标签送入神经网络;2)神经网络对图片进行处理,在训练过程中输出待检测图片对应每一个类别的概率数值,在测试过程中输出待检测图片预测的框的坐标、类别、得分。通过擦除来促进整体目标定位,并通过最大凸显学习来提高分类性能的准确性;将从多个平行定位头中学习到的目标区域动态地与接收场的有向扩展相结合。

Patent Agency Ranking