公开(公告)号：CN119963605A

公开(公告)日：2025-05-09

申请号：CN202510150262.4

申请日：2025-02-11

Applicant: 厦门大学

Inventor： 王菡子 ,  黎光耀 ,  庄思萍 ,  简亚军 ,  严严

IPC: G06T7/246 ,  G06V10/25 ,  G06V10/40 ,  G06V10/44 ,  G06V10/80 ,  G06V10/74 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/048

Abstract: 一种基于时空场景连通图的开放词汇多目标跟踪方法，涉及计算机视觉技术。A.给定训练数据集，包含视频序列和对象的相关状态信息。B.将视频帧序列输入预训练的检测器，提取视频帧的特征，并生成每帧中的对象候选框。C.根据生成的候选框，从全局特征图中利用ROI池化操作提取每个候选框对应的局部特征。D.将提取的ROI区域特征输入解码器，通过多头自注意力提取目标间的各种关系。E.将获得的关键帧与参考帧的关系输入连接头，得到关联预测结果，产生图关联损失。F.将关键帧与参考帧中经过解码器处理的ROI特征计算外观相似度，得到关联预测，得到外观关联损失与步骤E产生的图关联损失共同组成网络的损失函数。提升跟踪性能。

公开(公告)号：CN119090818A

公开(公告)日：2024-12-06

申请号：CN202411089623.0

申请日：2024-08-09

Applicant: 厦门大学

Inventor： 严严 ,  王辰洋 ,  王菡子

IPC: G06T7/00 ,  G06V10/25 ,  G06V10/764 ,  G06V10/774 ,  G06V10/77 ,  G06V10/82 ,  G06V10/52 ,  G06N3/094 ,  G06N3/084 ,  G06N3/096 ,  G06N3/09 ,  G06V20/70

Abstract: 本发明公开了点监督X射线违禁品检测的域内‑域间对象性学习方法，本方案通过域内‑域间对象性模块在点监督下进行X射线违禁物品检测，该方案由域内对象性学习模块和域间对象性性学习模块两个关键模块组成；域内对象性学习模块设计了局部焦点高斯掩蔽块和全局随机高斯掩蔽块，共同学习X射线图片中的对象性。域间对象性学习模块引入了基于小波分解的对抗学习块和对象性块，有效减少了模态差异，并将从带有实例级标注的自然图片中学到的对象性知识迁移到了X射线图片中。本方案缓解了X射线图片中由严重类内变化引起的局部主导的问题。在四个X射线数据集上的实验结果显示，本发明在显著降低注释成本的同时实现了卓越性能，提高了其实用性。

公开(公告)号：CN118968580A

公开(公告)日：2024-11-15

申请号：CN202410920453.X

申请日：2024-07-10

Applicant: 厦门大学 ,  上海人工智能创新中心

Inventor： 严严 ,  陈雪婷 ,  王菡子

IPC: G06V40/16 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/096

Abstract: 本发明公开了基于自步协同学习框架的小样本人脸表情识别方法及介质，包括：获取基本类表情数据集和复合类表情数据集；建立自步协同学习网络，包括混合专家卷积层和分类模型；对不同混合专家卷积层的通道数进行缩放；混合专家卷积层在欧式空间中进行表情特征嵌入学习；基于专家模型构建教师模型和学生模型，得到对应的表情特征；将教师模型和学生模型获取的表情特征从欧式空间映射到双曲空间，对自步协同学习网络进行表情特征嵌入学习；使用分类模型对表情特征进行分类，完成最终的训练；将复合类表情数据集输入训练好的自步协同学习网络进行表情分类计算，输出分类结果，识别不同表情。本发明有效提高了表情识别准确度。

公开(公告)号：CN118658199A

公开(公告)日：2024-09-17

申请号：CN202410686731.X

申请日：2024-05-30

Applicant: 厦门大学 ,  上海人工智能创新中心

Inventor： 王菡子 ,  杜恺文 ,  卢杨

IPC: G06V40/20 ,  G06V10/40 ,  G06V10/80 ,  G06V20/40

Abstract: 一种基于边缘指导运动信息提升网络的小样本行为识别方法，涉及计算机视觉技术。A.给定视频数据集，将每个视频随机抽取T帧构成新的视频帧序列。B.视频帧序列输入特征提取器获得视频帧特征。同时，将采样后的视频帧序列输入边缘信息提取器获得边缘信息特征。C.将步骤B生成的视频帧特征和边缘信息特征分别输入运动信息提升模块，获得提升后的视频帧特征和提升后的边缘信息特征。D.将步骤C提升后的两种特征融合，输入预测器得到类别预测结果，产生类别损失。E.将步骤C提升后的边缘信息特征输入预测器，得边缘损失，与步骤D产生的类别损失共同组成网络的损失函数。与当前主流的小样本行为识别方法相比，分类性能有所提升。

公开(公告)号：CN117079068A

公开(公告)日：2023-11-17

申请号：CN202310784489.5

申请日：2023-06-29

Applicant: 厦门大学

Inventor： 卢杨 ,  张易亮 ,  王菡子

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/771

Abstract: 本发明公开了一种基于二维度量的两阶段样本选择方法，包括：将数据样本根据其观测标签的类别进行分离归类，得到若干同类数据样本构成的子数据集；计算每个子数据集中的数据样本在标签空间维度和特征空间维度的数据分布；计算每个子数据集中的数据样本在标签空间维度和特征空间维度的均值和方差，确定数据样本最优分离维度；根据数据样本在最优分离维度的差异性，将数据样本分离为干净样本集合和噪声样本集合。实现了对尾部类数据样本中的干净样本和噪声样本的高效分离，从而使得分类模型能够更好的关注尾部类数据样本。

公开(公告)号：CN115688939A

公开(公告)日：2023-02-03

申请号：CN202211396784.5

申请日：2022-11-09

Applicant: 厦门大学

Inventor： 卢杨 ,  钱品馨 ,  王菡子

IPC: G06N20/00 ,  G06N3/045 ,  G06N3/08 ,  G06F21/62 ,  G06F18/2431 ,  G06F18/23213

Abstract: 本发明公开了一种基于对抗式特征增广的长尾数据个性化联邦学习方法，包括：在服务器端将整个全局模型分成全局特征提取器g和全局分类器f并将其发给若干个客户端；通过随机采样平衡若干个客户端本地样本数据分布，利用伯努利分布构建若干对源大类样本ys和目标小类样本yt标签对；获取源大类样本特征hs和目标小类样本特征并得到采样平衡样本特征集Dbal和生成平衡样本特征集利用所述采样平衡样本特征集Dbal和生成平衡样本特征集训练所述全局分类器f，结合全局特征提取器g，得到本地个性化模型。能够解决全局长尾数据分布下的数据异构问题。

公开(公告)号：CN111914107B

公开(公告)日：2022-06-14

申请号：CN202010746717.6

申请日：2020-07-29

Applicant: 厦门大学

Inventor： 赵万磊 ,  林界 ,  王菡子

IPC: G06F16/53 ,  G06F16/55 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于多通道注意力区域扩展的实例检索方法，涉及图像检索技术领域。首先提出多通道注意力区域扩展模块，在网络训练中仅依赖图像类别标签，从多个通道进行注意力区域扩展操作，分别实现对图像中的多个实例进行相对完整的定位。根据定位进行特征提取的过程中，引入多分支联合训练，在提取特征时保留原信息，并进一步获得深层语义信息，增强特征的判别力。不同于已有的技术，只依赖图像类别标签训练卷积神经网络，基于类激活图和注意力区域扩展模块对图像中实例进行定位的同时，提取具有判别性的实例特征用于实例检索。可应用到电商网站的在线购物、视频媒体的智能化检索等现实场景。

公开(公告)号：CN112132204B

公开(公告)日：2022-05-24

申请号：CN202010987428.5

申请日：2020-09-18

Applicant: 厦门大学

Inventor： 王菡子 ,  江斓

IPC: G06V10/762 ,  G06V10/764 ,  G06K9/62

Abstract: 一种基于偏好概率加权采样的鲁棒模型拟合方法，涉及计算机视觉。A.准备数据集；B.赋予数据集中每个数据点权重，循环执行步骤C‑D，生成模型假设；C.从数据点中以权重采样数据点子集，进行模型更新策略，在数据集中通过随机采样生成初始模型假设，并通过迭代方式更新模型假设，直到满足停止标准停止迭代，通过更新选取得到最佳模型假设并加入模型假设集；D.根据偏好概率公式和模型假设集计算各数据点的偏好概率，通过增大偏好概率在一定阈值区间的数据点权重，增加采样小结构模型实例内点概率，减少大结构模型实例和离群点对采样干扰；E.用模型假设集的残差向量集，构建相似度矩阵，应用谱聚类技术对数据聚类，估计多结构模型实例。

公开(公告)号：CN112308877B

公开(公告)日：2022-05-17

申请号：CN202011165026.3

申请日：2020-10-27

Applicant: 厦门大学

Inventor： 王菡子 ,  林舒源 ,  江斓 ,  严严

IPC: G06T7/215 ,  G06T7/246 ,  G06V10/762 ,  G06K9/62

Abstract: 基于异质模型拟合的运动分割方法，涉及计算机视觉技术。首先，使用基于密度估计技术的投票方法，通过对异质模型假设质量的评价，生成高质量的累积相关矩阵。在此基础上，利用信息论构造稀疏亲和矩阵的方法，有效地抑制了不同目标之间的关联值。最后，利用归一化谱聚类算法对融合后的稀疏亲和矩阵进行分割，得到准确的分割结果。解决现有技术存在的真实场景中外界的光照变化、运动物体的表观和遮挡，可能会导致跟踪点包含异常值和噪声等问题。

公开(公告)号：CN111862167B

公开(公告)日：2022-05-10

申请号：CN202010705423.9

申请日：2020-07-21

Applicant: 厦门大学

Inventor： 王菡子 ,  梁艳杰 ,  熊逻

IPC: G06T7/277

Abstract: 一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法，涉及计算机视觉技术。由目标及其上下文构造基本样本，由基本样本的所有循环平移样本构成训练样本，DCF训练多通道相关滤波器的损失函数；在多任务学习中将排它性稀疏正则项与组稀疏正则项整合构造组内‑组间稀疏正则项，在目标跟踪中引入时间一致性约束缓解DCF随时间退化的问题，引入组内‑组间稀疏正则项以及时间正则项定义回归损失函数，学习稀疏相关滤波器；通道剪枝将冗余的滤波器整体去除，根据重要性程度对D通道滤波器排序，选取排序靠前的通道滤波器进行跟踪；构造拉格朗日函数，采用ADMM算法优化回归损失。有效提高滤波器的判别性以及可解释性，精度高，速度快。