一种利用短程关联和长程修剪的多目标跟踪与分割方法

    公开(公告)号:CN112132152B

    公开(公告)日:2022-05-27

    申请号:CN202010994613.7

    申请日:2020-09-21

    Applicant: 厦门大学

    Inventor: 王菡子 李玉磊

    Abstract: 一种利用短程关联和长程修剪的多目标跟踪与分割方法,涉及计算机视觉。训练用于分割和跟踪的卷积神经网络,将视频图片输入训练后的网络,得视频图片中每个目标实例对应的分割位置和实例表征向量;使用欧式距离度量不同实例之间表征向量的空间距离及实例掩码中心距离,度量转化成向量相似性得分和掩码中心相似性得分;用实例掩码和边缘框在相邻帧之间的传播得分得掩码相似性得分和边缘框相似性得分;利用四种相似性得分和匈牙利算法得视频中目标实例的运动轨迹;在目标实例轨迹中,使用先前帧的目标实例置信得分对当前帧目标实例置信得分进行调整,并清除实例置信得分低的运动轨迹,得到高置信得分的长程运动轨迹。具有较高精度和鲁棒性。

    一种基于孪生网络的目标特定响应注意力目标跟踪方法

    公开(公告)号:CN111291679B

    公开(公告)日:2022-05-27

    申请号:CN202010081733.8

    申请日:2020-02-06

    Applicant: 厦门大学

    Abstract: 一种基于孪生网络的目标特定响应注意力目标跟踪方法,涉及计算机视觉技术。针对原有的基于孪生网络的目标跟踪方法对目标快速运动、遮挡、旋转、背景杂乱等复杂跟踪场景不够鲁棒的缺点,提出一种基于孪生网络的目标特定响应注意力目标跟踪方法,提出的目标响应注意力模块有效弱化跟踪过程中噪声信息对于跟踪性能的影响,同时强化对目标对象外观变化具有判别性的特征信息,使得孪生网络产生的比较好的目标响应图,使用该目标响应图进行目标位置预测,从而实现更鲁棒的跟踪性能。包含五个主要部分:CNN特征提取;逐通道互相关生成响应图;利用注意力网络产生权重,对各通道响应图加权;最终响应图上确定目标位置,以及所提出模型的训练方法。

    一种全局与局部特征融合的遮挡鲁棒行人重识别方法

    公开(公告)号:CN112200111B

    公开(公告)日:2022-05-17

    申请号:CN202011116582.1

    申请日:2020-10-19

    Applicant: 厦门大学

    Abstract: 一种全局与局部特征融合的遮挡鲁棒行人重识别方法,涉及计算机视觉技术。包括以下步骤:1)训练数据的准备;2)模型设计与训练;模型包括ResNet‑50骨架网络、全局分支、局部分支以及语义分支、全局分支利用SPC损失提取全局特征,局部分支提取局部特征,语义分支预测人体语义标签,三个分支可以联合在一起进行端到端的训练。3)利用训练好的模型来提取行人重识别数据训练集和测试集中所有行人图像的全局特征、局部特征以及预测行人图像的语义标签,并进行非遮挡区域指示符的计算。4)对查询集中的每幅行人图像分别与数据库中的所有行人图像计算相似度,按相似度从大到小排序,从而完成行人重识别。显著提高了识别的性能。

    一种基于多任务卷积神经网络的人脸表情识别方法

    公开(公告)号:CN108764207B

    公开(公告)日:2021-10-19

    申请号:CN201810582457.6

    申请日:2018-06-07

    Applicant: 厦门大学

    Inventor: 严严 黄颖 王菡子

    Abstract: 一种基于多任务卷积神经网络的人脸表情识别方法,首先设计多任务卷积神经网络结构,在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征;然后采用多任务学习,同时学习多个单表情判别性特征学习任务以及多表情识别任务,使用一种联合损失来监督网络的所有任务,并且使用两种损失权重来平衡网络的损失;最后根据训练好的网络模型,从模型最后的柔性最大分类层得到最终的人脸表情识别结果。将特征提取与表情分类放在一个端到端的框架中进行学习,从输入图片中提取出判别性特征,对输入图片做出可靠地表情识别。通过实验分析可知,本算法性能卓越,可有效地区分复杂的人脸表情,在多个公开的数据集上都取得了良好的识别性能。

    一种基于阶段性特征语义对齐的实时街景图像语义分割方法

    公开(公告)号:CN113011429A

    公开(公告)日:2021-06-22

    申请号:CN202110295657.5

    申请日:2021-03-19

    Applicant: 厦门大学

    Inventor: 严严 翁熙 王菡子

    Abstract: 一种基于阶段性特征语义对齐的实时街景图像语义分割方法,涉及计算机视觉技术。首先利用轻量级图像分类网络ResNet‑18和高效空间‑通道注意力模块构建编码器,并使用多个不同设计的特征对齐模块模块与全局平均池化层构建解码器。接着,利用上述得到的编码器与解码器,构成基于编码器‑解码器网络结构的语义分割网络模型。最后将编码器中的特征与解码器的输出特征进行聚合并送入语义分割结果生成模块中,以得到最终的语义分割结果。在维持高分辨率的输入图像且不降低图像分辨率的情况下,能够以实时的速率高效地产生对应的分割结果。比起现有的实时语义分割方法,能够取得更加优秀的分割精度,在速度和精度之间取得更好的平衡。

    基于多重孪生神经网络与区域神经网络的目标跟踪方法

    公开(公告)号:CN108898620B

    公开(公告)日:2021-06-18

    申请号:CN201810619827.9

    申请日:2018-06-14

    Applicant: 厦门大学

    Inventor: 王菡子 刘祎 严严

    Abstract: 基于多重孪生神经网络与区域神经网络的目标跟踪方法,涉及计算机视觉技术。通过使用预训练的多重孪生神经网络,将目标跟踪问题转化为可更新的实例检索问题。同时采用预训练的区域神经网络,以解决目标丢失后的重检测问题。首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索,然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测,进一步辅助获取最终目标的位置,实现实时的目标跟踪。首先在大型视觉识别数据库上训练多重孪生神经网络对目标进行实例检索,然后在目标跟踪过程中运用预训练的区域神经网络对丢失目标进行重新检测,进一步辅助获取最终目标的位置,实现实时的目标跟踪的。

    基于异质模型拟合的运动分割方法

    公开(公告)号:CN112308877A

    公开(公告)日:2021-02-02

    申请号:CN202011165026.3

    申请日:2020-10-27

    Applicant: 厦门大学

    Abstract: 基于异质模型拟合的运动分割方法,涉及计算机视觉技术。首先,使用基于密度估计技术的投票方法,通过对异质模型假设质量的评价,生成高质量的累积相关矩阵。在此基础上,利用信息论构造稀疏亲和矩阵的方法,有效地抑制了不同目标之间的关联值。最后,利用归一化谱聚类算法对融合后的稀疏亲和矩阵进行分割,得到准确的分割结果。解决现有技术存在的真实场景中外界的光照变化、运动物体的表观和遮挡,可能会导致跟踪点包含异常值和噪声等问题。

    一种基于实例感知目标建议窗口的相关滤波跟踪方法

    公开(公告)号:CN108898621B

    公开(公告)日:2021-01-12

    申请号:CN201810662407.9

    申请日:2018-06-25

    Applicant: 厦门大学

    Abstract: 一种基于实例感知目标建议窗口的相关滤波跟踪方法,能够在基于CNN的相关滤波框架中根据检测的稳定性自适应地选择尺度估计模式以及目标重检测模式,提高算法在尺度估计、快速运动、遮挡、背景干扰等方面的鲁棒性。由EdgeBoxes生成的目标建议窗口基于表观相似度和空间加权排序后得到的都是与目标实例具有高相似度的目标建议窗口,称为实例感知目标建议窗口。实例感知的目标建议窗口由基于CNN的相关滤波器进一步引导至最优位置,从中选取最显著的经引导后的实例感知目标建议窗口,作为目标的尺度估计或者重检测结果,可有效地解决跟踪过程中的尺度变化以及目标丢失。在标准数据集上,提出的方法获得很高的性能指标。

    一种基于丢弃损失函数的人物属性识别方法

    公开(公告)号:CN112200260A

    公开(公告)日:2021-01-08

    申请号:CN202011116242.9

    申请日:2020-10-19

    Applicant: 厦门大学

    Abstract: 一种基于丢弃损失函数的人物属性识别方法,涉及基于内容的图像识别。首先设计基于ResNet‑50的深度卷积神经网络,然后设计丢弃损失函数中包含的离群样本丢弃策略,计算梯度值,选择性丢弃梯度值大于一定阈值的样本权重,再设计丢弃损失函数中包含的样本加权丢弃策略,选择性丢弃其梯度值最小的一部分样本,通过对样本加权的方式来平衡其正负类别的样本的分布,最后将训练样本集中的图像放进基于ResNet‑50的深度卷积神经网络计算得到总体损失,并利用反向传播算法进行端到端的训练,利用训练好的模型进行多属性识别,神经网络输出的特征即为识别结果。性能卓越,可有效识别图片中的多个属性,在平衡精度标准上有明显优势。

    一种基于深度干扰分离学习的人脸表情识别方法

    公开(公告)号:CN112200110A

    公开(公告)日:2021-01-08

    申请号:CN202011116207.7

    申请日:2020-10-19

    Applicant: 厦门大学

    Abstract: 一种基于深度干扰分离学习的人脸表情识别方法,涉及计算机视觉技术。包括以下步骤:A.准备样本集;B.对于干扰样本集的所有样本,使用多任务学习的方法预训练一个干扰特征提取模型;C.对于表情训练样本集中的所有样本,设计并训练一个干扰分离模型;D.在干扰分离模型的表情子网络和干扰子网络中分别设计一系列注意力模块;E.设计表情子网络;F.使用K‑L散度约束干扰子网络学习;G.在测试阶段,针对表情测试样本集,利用干扰分离模型提取人脸表情特征并实现鲁棒的人脸表情识别。能够从特征层面上同时分离出各种对表情识别有影响的干扰因素,可以有效地进行人脸表情识别,可以提高人脸表情识别的精度。

Patent Agency Ranking