基于显著片段采样的长视频动作识别方法

    公开(公告)号:CN112329738B

    公开(公告)日:2024-08-16

    申请号:CN202011387822.1

    申请日:2020-12-01

    Inventor: 王其聪 黄靖

    Abstract: 基于显著片段采样的长视频动作识别方法,涉及计算机视觉技术。1)准备长视频动作识别数据集;2)设计用于显著片段采样的采样器和用于动作识别的分类器,通过采样器对视频运动特征显著的部分进行采样,分类器仅考虑采样器采样的片段,通过提取视频显著片段的时空特征进行动作分类;3)在大规模图像数据集上,对采样器的主干网络ShuffleNet V2和分类器网络膨胀3D卷积网络进行预训练,得到预训练模型;4)将预训练模型在长视频动作识别数据集上利用反向传播算法对整个模型进行端到端训练,并保存训练好的模型;5)利用训练好的模型进行视频显著部分的采样和动作分类。能有效去除冗余信息,减少模型计算量。

    基于行人解析的多流多标签行人再识别方法

    公开(公告)号:CN112418134B

    公开(公告)日:2024-02-27

    申请号:CN202011387800.5

    申请日:2020-12-01

    Inventor: 王其聪 王旭

    Abstract: 基于行人解析的多流多标签行人再识别方法,涉及计算机视觉技术。准备行人再识别方向数据集,通过行人解析模型对行人图片进行解析,获取行人上半身、下半身以及全身的掩模,根据获得的掩模设计多支流的注意力机制网络模型;根据掩模对行人身体区域进行色调调整,改变图片中行人衣服的颜色,然后作为新的一个行人类别,扩充数据集;将新扩充的数据集制作双标签结构的数据集,每个行人均有对应的两个标签,分别设置不同的置信度,提出多标签分类损失函数,利用训练好的网络模型,对测试集图像进行特征表示,并且进行之后的相似性比较和排序。在多个公开数据集上都取得较好的识别性能,有效缓解背景杂乱、遮挡等问题对于行人再识别方向的干扰。

    基于图引导的异构深度网络的行人再识别方法

    公开(公告)号:CN114511883B

    公开(公告)日:2024-08-20

    申请号:CN202210106963.4

    申请日:2022-01-28

    Abstract: 基于图引导的异构深度网络的行人再识别方法,属于计算机视觉领域。预处理行人再识别方法数据集,构建交集图;设计一个图引导学习的异构网络,通过这个网络模型推断出行人之间较为全局的相似性关系;在行人再识别数据集上,计算异构网络中两个子网络的分类损失和,通过反向传播算法和随机梯度下降法对异构网络进行端到端的训练,得到最终训练好的网络模型;利用训练好的异构网络测试行人再识别的识别效果,异构网络输出行人图像间的相似度,对相似度排序得到最终的检索结果。可以实现样本间更丰富相关性的度量,有效导引网络学习更具区分性的特征。充分发挥主干网络和复杂相似性学习子网络在特征学习方面各自特点,实现优势互补。

    基于时空流形轨迹建图的3D骨架动作识别方法

    公开(公告)号:CN114627557B

    公开(公告)日:2024-05-31

    申请号:CN202210287088.4

    申请日:2022-03-22

    Abstract: 基于时空流形轨迹建图的3D骨架动作识别方法,涉及计算机视觉技术。准备动作识别方向骨架数据集,通过计算任意两对骨头之间的旋转平移关系,获取骨架动作序列的李群流形特征,根据李群流形特征的时序关系将该特征表现为时空轨迹曲线的形式;使用基于连续投影的节点建图方法,建成动作节点间的相似性联系图;将以时空轨迹曲线为特征的动作序列和节点相似性图作为输入传入图卷积,通过图卷积的迭代更新,不断更新图中边的权值,使相似节点间的边权值增加,断开不相似节点间的边,使得相似节点更接近,不相似节点更远。在多个公开数据集取得较好动作识别性能,能够有效地在流形空间中建图,并且结合图卷积模块可以有较好的动作识别效果。

    多主体任务中基于意图的图片识别方法

    公开(公告)号:CN114627348B

    公开(公告)日:2024-05-31

    申请号:CN202210287089.9

    申请日:2022-03-22

    Abstract: 多主体任务中基于意图的图片识别方法,涉及计算机视觉技术。准备多个经典的图片数据集;利用图片数据集合成多主体图片数据集;提出在不同监督信号下,如何提高目标主体图片的识别问题,将ResNet50模型作为提取特征的基本网络模型;设计在无监督情况下,基于多样性上下文相似性的网络架构;设计在完全监督情况下,基于经典分类器的网络架构;根据数据是否有监督信号,利用反向传播算法对网络进行学习,获得意图信息,即模型拥有某一主体的特征提取能力;在不同监督信号的情况下,利用生成的多个多主体数据集和获得意图信息的模型进行图片识别任务并利用多个评测标准进行评估。有效缓解非目标主体对多主体任务中目标图片识别的干扰。

    基于行人解析的多流多标签行人再识别方法

    公开(公告)号:CN112418134A

    公开(公告)日:2021-02-26

    申请号:CN202011387800.5

    申请日:2020-12-01

    Inventor: 王其聪 王旭

    Abstract: 基于行人解析的多流多标签行人再识别方法,涉及计算机视觉技术。准备行人再识别方向数据集,通过行人解析模型对行人图片进行解析,获取行人上半身、下半身以及全身的掩模,根据获得的掩模设计多支流的注意力机制网络模型;根据掩模对行人身体区域进行色调调整,改变图片中行人衣服的颜色,然后作为新的一个行人类别,扩充数据集;将新扩充的数据集制作双标签结构的数据集,每个行人均有对应的两个标签,分别设置不同的置信度,提出多标签分类损失函数,利用训练好的网络模型,对测试集图像进行特征表示,并且进行之后的相似性比较和排序。在多个公开数据集上都取得较好的识别性能,有效缓解背景杂乱、遮挡等问题对于行人再识别方向的干扰。

    基于层次注意力多任务深度模型的行人再识别方法

    公开(公告)号:CN114511881B

    公开(公告)日:2024-09-27

    申请号:CN202210106070.X

    申请日:2022-01-28

    Abstract: 基于层次注意力多任务深度模型的行人再识别方法,涉及计算机视觉。包括以下步骤:根据行人再识别数据集构建焦点图;设计层次注意力的多任务深度模型的行人再识别网络模型,通过该模型推断出行人间的相似性;计算两个子任务的分类损失和,通过反向传播和随机梯度下降法对网络模型进行端到端的训练,得到训练好的模型;利用训练好的网络模型测试行人再识别的识别效果,输出行人间的相似度,并按照其大小降序排序。能充分共享在底层细节和高层语义方面具有不同区分力的层次特征提升深度相似性学习性能。在焦点图节点多层近邻聚合间引入注意力机制,使每层近邻聚合后具有区分性的节点通道信息更具重要性,促进对样本间复杂相似性关系的深度推断。

    基于时空流形轨迹建图的3D骨架动作识别方法

    公开(公告)号:CN114627557A

    公开(公告)日:2022-06-14

    申请号:CN202210287088.4

    申请日:2022-03-22

    Abstract: 基于时空流形轨迹建图的3D骨架动作识别方法,涉及计算机视觉技术。准备动作识别方向骨架数据集,通过计算任意两对骨头之间的旋转平移关系,获取骨架动作序列的李群流形特征,根据李群流形特征的时序关系将该特征表现为时空轨迹曲线的形式;使用基于连续投影的节点建图方法,建成动作节点间的相似性联系图;将以时空轨迹曲线为特征的动作序列和节点相似性图作为输入传入图卷积,通过图卷积的迭代更新,不断更新图中边的权值,使相似节点间的边权值增加,断开不相似节点间的边,使得相似节点更接近,不相似节点更远。在多个公开数据集取得较好动作识别性能,能够有效地在流形空间中建图,并且结合图卷积模块可以有较好的动作识别效果。

    基于过去完成度和未来趋势的自监督三维动作预测方法

    公开(公告)号:CN116310653A

    公开(公告)日:2023-06-23

    申请号:CN202310342324.2

    申请日:2023-04-03

    Abstract: 基于过去完成度和未来趋势的自监督三维动作预测方法,属于计算机视觉领域。首先提出动作完成度感知任务和运动预测任务,以监督模型学习包含动作状态信息和趋势信息的特征表示。并且设计一个多任务自监督学习框架,引入对比学习辅助任务提取关于动作的高阶语义特征,在不需要人工标签的前提下,融合多项自监督任务损失引导网络学习具有判别性的动作特征。最后在此基础上提出一个完整动作序列生成模块,充分利用自监督训练的动作完成度感知器和运动预测器,从不完整序列生成对应的完整序列,补全序列中缺失的信息,融合部分预测和全局预测得到最终预测,有效提高动作预测的精度。

    多主体任务中基于意图的图片识别方法

    公开(公告)号:CN114627348A

    公开(公告)日:2022-06-14

    申请号:CN202210287089.9

    申请日:2022-03-22

    Abstract: 多主体任务中基于意图的图片识别方法,涉及计算机视觉技术。准备多个经典的图片数据集;利用图片数据集合成多主体图片数据集;提出在不同监督信号下,如何提高目标主体图片的识别问题,将ResNet50模型作为提取特征的基本网络模型;设计在无监督情况下,基于多样性上下文相似性的网络架构;设计在完全监督情况下,基于经典分类器的网络架构;根据数据是否有监督信号,利用反向传播算法对网络进行学习,获得意图信息,即模型拥有某一主体的特征提取能力;在不同监督信号的情况下,利用生成的多个多主体数据集和获得意图信息的模型进行图片识别任务并利用多个评测标准进行评估。有效缓解非目标主体对多主体任务中目标图片识别的干扰。

Patent Agency Ranking