多模态信息检测模型的训练方法、检测方法及系统

    公开(公告)号:CN118982727A

    公开(公告)日:2024-11-19

    申请号:CN202410993712.1

    申请日:2024-07-23

    Abstract: 本公开关于一种多模态信息检测模型的训练方法、检测方法及系统,所述训练方法包括:获取多模态训练样本集和样本标注信息;针对多模态样本信息中的每个模态,通过屏蔽在该模态之外的其他模态的信息,得到单模态样本集;分别将多模态训练样本集和单模态样本集输入到多模态信息检测模型中,得到多模态预测和单模态预测;基于多模态预测、单模态预测和样本标注信息,确定预测损失;利用预测损失,对多模态信息检测模型进行训练。本公开的多模态信息检测模型的训练方法、检测方法及系统可以解决不同模态的学习程度不同导致难以提升模型准确性的问题,可以充分学习到每个单模态的特征,在训练中充分利用各模态的信息,提升模型的训练效果和准确性。

    基于关系原型网络的弱监督时序行为定位方法及装置

    公开(公告)号:CN111783713B

    公开(公告)日:2022-12-02

    申请号:CN202010659078.X

    申请日:2020-07-09

    Inventor: 王亮 黄岩 黄林江

    Abstract: 本发明涉及一种基于关系原型网络的弱监督时序行为定位方法及装置。为了解决现有技术人为标注信息对训练网络模型耗时耗力且引入主观因素的问题,本发明提出一种基于关系原型网络的弱监督时序行为定位方法,包括按预设时间间隔将待识别视频划分为多个视频片段,将每个视频片段对应的光流图像以及多个视频片段,输入预先训练好的行为定位模型;通过行为定位模型,确定每个视频片段中人类行为与预先设定的目标行为的第一相似度;根据第一相似度与预设阈值的比较结果,确定每个视频片段中人类行为所属的行为类别。本发明的方法能够对不同行为之间的关系进行建模,通过聚类损失,能够使行为各部分的特征尽可能靠近,从而实现定位完整行为片段。

    基于协同过滤推荐模型的物品推荐方法及装置

    公开(公告)号:CN114943039A

    公开(公告)日:2022-08-26

    申请号:CN202210421086.X

    申请日:2022-04-20

    Inventor: 吴书 王亮

    Abstract: 本申请提供一种基于协同过滤推荐模型的物品推荐方法及装置,方法包括:获取目标用户的历史行为数据,基于所述历史行为数据构建数据序列,所述数据序列中包括与所述目标用户交互的多个物品的初始向量表示;将所述数据序列输入物品推荐模型中,确定所述目标用户的用户向量表示,并基于相似物品选择策略和基于注意力机制的向量融合方法确定目标物品的增强式向量表示;基于所述目标物品的增强式向量表示和所述目标用户的用户向量表示,确定所述目标用户对所述目标物品的喜爱程度预测值,并基于所述喜爱程度预测值对所述目标物品进行推荐,实现更精准地计算用户对物品的喜好程度,提高了物品推荐模型的推荐效果。

    基于生成对抗网络的帧率增强步态识别方法及装置

    公开(公告)号:CN108681689B

    公开(公告)日:2021-06-04

    申请号:CN201810282478.6

    申请日:2018-04-02

    Abstract: 本发明属于计算机视觉领域,具体涉及一种基于生成对抗网络的帧率增强步态识别方法及装置,旨在降低识别图像的噪声,提高步态识别的准确率。该方法具体包括:首先通过一个生成对抗网络生成数据集中连续两帧之间的帧,然后将生成帧与原始帧合并计算步态能量图,然后通过步态能量图识别网络对个体进行识别。该方法中的生成对抗网络能够显著提高原始图像序列的帧率,同时生成的图像对噪声具有较好的鲁棒性,能够起到对步态能量图进行降噪的作用,同时在步态能量图识别网络中加入了新型边界比率损失函数,能够极好地平衡不同损失函数之间的量级,大大提升模型训练的稳定性。本方法能够明显提升跨视角及不跨视角的步态识别率。

    基于分割剪影的行人再识别方法及系统

    公开(公告)号:CN109101866B

    公开(公告)日:2020-12-15

    申请号:CN201810567647.0

    申请日:2018-06-05

    Inventor: 王亮 黄岩 宋纯锋

    Abstract: 本发明属于计算机视觉领域,具体涉及一种基于分割剪影的行人再识别方法及系统,旨在解决如何消除图像背景噪声,提高行人再识别准确率的问题。为此目的,本发明中的行人再识别方法包括:基于预先构建的行人再识别模型并根据待测行人的彩色图像及对应的分割剪影,获取待测行人的行人特征;分别计算行人特征与每个预设的行人身份特征之间的相似度;获取最大相似度对应的行人身份特征,并根据所获取的行人身份特征获取待测行人的身份信息。基于本发明的行人再识别方法可以较好的解决背景杂乱情况下的行人再识别问题,提高识别准确率。同时,本发明中的行人再识别系统能够执行并实现上述方法。

    一种行人个体分割方法及装置

    公开(公告)号:CN106778705B

    公开(公告)日:2020-03-17

    申请号:CN201710065013.0

    申请日:2017-02-04

    Abstract: 本发明公开一种行人个体分割方法和装置,所述方法包括:利用预先训练好的粗粒度人形轮廓分割模型对待处理图像进行行人分割,得到区块化分割结果;所述区块化分割结果中包括多个标示成背景和前景的区块,在所述对待处理图像中被标示成背景的区块不包含行人主体,而被标示成前景的区块包含行人主体的部分图像;去除所述待处理图像中所述区块化行人分割结果对应部分中的背景图像,得到粗粒度分割图像;将所述粗粒度分割图像输入至预先训练好的细粒度人形轮廓分割模型;所述预先训练好的细粒度人形轮廓分割模型输出个体行人分割结果;其中,所述粗粒度人形轮廓分割模型和细粒度人形轮廓分割模型均通过全卷积神经网络训练得到。

    基于迁移学习的动物行为识别方法和装置

    公开(公告)号:CN106056043B

    公开(公告)日:2019-07-30

    申请号:CN201610339756.8

    申请日:2016-05-19

    Inventor: 王亮 王威 王洪松

    Abstract: 本发明提出了一种基于迁移学习的目标动物行为识别方法和装置,即训练数据集中的训练样本包括人的行为样本、非目标动物的行为样本和目标动物的行为样本中的一种或几种的组合,测试数据集为目标动物的行为样本。该发明步骤包括:步骤101,针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本,提取原始特征;步骤102,采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中,得到新的特征;步骤103,利用所述新的特征训练SVM分类器,得到行为识别模型,同时对所述目标动物行为识别模型进行测试;步骤104,利用所述动物行为识别模型对目标动物的待识别行为进行识别。本发明提出的基于迁移学习的行为识别方法能有效的识别动物的行为。

    基于人体骨架序列的行为与身份联合识别方法及装置

    公开(公告)号:CN108764107A

    公开(公告)日:2018-11-06

    申请号:CN201810499463.5

    申请日:2018-05-23

    Inventor: 王亮 王洪松

    CPC classification number: G06K9/00362 G06N3/0454 G06N3/049

    Abstract: 本发明涉及视觉识别领域,提出一种基于人体骨架序列的行为和身份联合识别方法,旨在解决在人体数据识别中,不能同时对身份信息和行为动作识别问题。该方法包括:获取待识别人体的人体骨架序列;根据人体骨架序列,利用预先构建的识别模型识别人体的身份信息和行为动作;其中,识别模型的训练方法:将训练用人体骨架序列的坐标转换到参考坐标系下,得到参考骨架序列;对参考骨架序列的各参考骨架的各关节节点坐标与预先指定的中心点的坐标比较,得到各参考骨架的各关节节点的相对坐标;对参考骨架序列进行三维坐标变换,对初始的识别模型进行训练,得到优化后的识别模型。本发明可以快速、准确的从人体骨架序列中识别出人体的身份信息和行为动作。

Patent Agency Ranking