公开(公告)号：CN119205801A

公开(公告)日：2024-12-27

申请号：CN202411248458.9

申请日：2024-09-06

Applicant: 厦门大学

Inventor： 张声传 ,  金晓峰 ,  曹刘娟 ,  纪荣嵘

IPC: G06T7/10

Abstract: 一种基于SAM模型的快速且显存友好的图像分割方法，所述图像分割方法包括如下步骤：第一步，基于SAM模型训练建立U‑SAM模型；该U‑SAM模型采用如下步骤进行训练：步骤S1：建立SAM模型和U‑SAM模型；通过知识蒸馏压缩SAM模型的图像编码器，得到U‑SAM模型的语义&尺度感知图像编码器，以提升SAM的语义感知能力；步骤S2：冻结SAM模型相关参数，保留可提示分割能力，训练U‑SAM模型的双子令牌掩码解码器，解决难以控制提示嵌入存在的问题。第二步，利用所述U‑SAM模型实现可提示分割和通用图像分割；由此，可通过一个快速且显存友好的框架实现提示和通用的分割任务。

公开(公告)号：CN119048889A

公开(公告)日：2024-11-29

申请号：CN202411127983.5

申请日：2024-08-16

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  李旭东 ,  张岩 ,  张声传 ,  郑侠武 ,  曹刘娟

IPC: G06V10/98 ,  G06V10/82 ,  G06V10/74 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/0895

Abstract: 本发明公开一种基于HVS的上下文对比和局部敏感特性的无参考图像质量评估方法、电子设备和存储介质，解决现有技术中存在的缺少全面模拟人类质量感知的缺陷而导致评价精度较低问题，能够更精确地模拟人类感知过程，提高图像质量评估的精度。该评估方法，包括以下步骤：步骤1、构建网络模型，该网络模型包括以Transformer为主干网路预训练的BIQA教师模型、与教师模型具有相同主干网络的BIQA学生模型；步骤2、给定用于图像质量评估的训练数据集，对网络模型进行训练；步骤3、将待评估图像输入训练后的网络模型，由网络模型输出预测的分数结果。

公开(公告)号：CN118864490A

公开(公告)日：2024-10-29

申请号：CN202410834157.8

申请日：2024-06-26

Applicant: 厦门大学

Inventor： 曹刘娟 ,  黄有 ,  纪荣嵘 ,  张声传

IPC: G06T7/11 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开一种图像编码器、高精度交互式图像分割方法、电子设备和存储介质，解决现有技术中存在的问题，提高交互式分割的计算效率和分割质量，能够在高分辨率图像上实现高精度交互式分割。图像编码器包括以串联形式构建的1个图像嵌入模块、12个Transformer模块和4个循环扫描模块，每3个Transformer模块为1个阶段，每个阶段中最后的Transformer模块前插入1个循环扫描模块；Transformer模块包括串联的注意力计算模块和前馈神经网络模块；注意力计算模块的注意力包括一般窗口注意力和平移窗口注意力，12个Transformer模块中交替分布着这两种注意力。图像编码器主要以窗口注意力计算为主，构建了一般窗口注意力和平移窗口注意力的计算，并配合循环扫描模块来强化图像的全局特征信息融合。

公开(公告)号：CN118247607A

公开(公告)日：2024-06-25

申请号：CN202410658185.9

申请日：2024-05-27

Applicant: 厦门大学

Inventor： 张声传 ,  赖训发 ,  杨芷钰 ,  张岩 ,  曹刘娟 ,  纪荣嵘

IPC: G06V10/774 ,  G06V10/82 ,  G06N3/0895

Abstract: 本发明公开一种基于双旋转局部不一致性学习的半监督伪装目标检测方法，针对于“伪装目标数据的像素级标注耗时耗力，半监督学习提供了潜在解决方案，但是直接将成功的半监督范式迁移到伪装目标检测任务上，面临伪标签存在局部性噪声的问题，即同一伪标签内不同区域噪声程度不同，直接用带噪声伪标签进行监督会损害模型性能”的问题，基于经典的半监督学习教师‑学生范式，同时提出了一种新颖的双旋转局部不一致性学习。双旋转局部不一致性学习通过不同旋转视图的局部预测不一致对同一伪标签不同区域赋予不同权重来缓解局部噪声问题，帮助模型自适应调整不同质量伪标签的贡献，使伪装目标检测模型获得充分监督的同时，避免确认偏差。

公开(公告)号：CN118229964A

公开(公告)日：2024-06-21

申请号：CN202410652793.9

申请日：2024-05-24

Applicant: 厦门大学

Inventor： 曹刘娟 ,  王思伟 ,  陈志威 ,  张声传

IPC: G06V10/25 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06V10/766

Abstract: 本发明公开一种基于全流水线改良的小目标检测方法，在目标检测流水线的三个阶段都进行了改进，综合提高了对小目标的检测性能，其包括以下步骤：对待检测图片进行预处理，然后将预处理后的待检测图片及其对应的标签送入神经网络；神经网络在检测流水线的上游对待检测图片进行特征提取和特征融合并进行提纯操作得到特征图；在检测流水线的中游使用IoU、位置偏移指标和尺寸约束指标共同为特征图的候选框评分并分配正标签和负标签；在检测流水线的下游，将分配好标签的训练样本和特征图一起送到频率解耦检测头中进行分类和回归，输出待检测图片中的待检测目标对应每一个类别的概率数值以及对应的位置信息。

公开(公告)号：CN118229700A

公开(公告)日：2024-06-21

申请号：CN202410645393.5

申请日：2024-05-23

Applicant: 厦门大学

Inventor： 曹刘娟 ,  纪荣嵘 ,  张声传 ,  黄有

IPC: G06T7/10 ,  G06T9/00

Abstract: 本发明公开一种实时的交互式图像分割方法，涉及计算机视觉技术领域，引入了一种创新的处理交互分割问题的流程，能够提高交互式分割任务的计算效率，包括：步骤1、使用大型视觉模型对图像进行并行预处理，得到图像特征；步骤2、通过一轻量级的交互式分割模块，实时处理图像特征和用户输入的交互信息，能够从图像中准确地分割出目标区域，并根据用户的反馈不断提高分割的准确度。本发明通过将来自大型视觉模型预处理的图像特征与用户输入的交互信息相结合，并使用单一的轻量级交互式分割模块执行交互式分割，这种设计不仅保持了模型分割性能的竞争力，同时也优化了模型推理流程，显著提高了计算效率，为实时交互式图像分割提供了有效的解决方案。