一种基于标签嵌入的多标签少样本图像分类方法

    公开(公告)号:CN116721279A

    公开(公告)日:2023-09-08

    申请号:CN202310539501.6

    申请日:2023-05-15

    Applicant: 重庆大学

    Abstract: 本发明涉及一种基于标签嵌入的多标签少样本图像分类方法,该方法通过类似化学过程中的精馏操作,针对多标签少样本类视觉特征到标签的映射问题进行处理。该方法使用原型生成模块来根据词嵌入生成类语义原型,并将其投影到视觉‑语义联合特征空间中。在联合特征空间中,通过特征精馏模块中的自注意力机制和梯度回流机制,完成视觉‑语义聚合特征精馏,并对词嵌入提供的标签关系进行建模,优化生成的语义原型的判别性和对视觉特征的引导能力,从而有效利用标签嵌入作为多标签少样本图像分类任务中的信息补充。通过试验表明,该方法具有良好的分类性能和对于不可见类的泛化能力,能够处理多标签少样本图像分类任务中的类特征与标签之间的映射和多标签关系建模两大难题。

    一种基于知识蒸馏的弱监督视频时序行为定位方法

    公开(公告)号:CN113591731B

    公开(公告)日:2023-09-05

    申请号:CN202110887042.1

    申请日:2021-08-03

    Applicant: 重庆大学

    Abstract: 本发明公开了一种基于知识蒸馏的弱监督视频时序行为定位方法。包括具体步骤如下:构建分类器模型,选定一个行为类别的已剪切视频,对该视频进行视频特征提取和嵌入特征计算;利用嵌入特征计算Pcls和W0,之后计算出Pscore;通过Pscore计算交叉熵损失来更新分类器模型中各个模块的相关参数。构建教师学生网络模型,选择一个该行为类别的未剪切视频,通过特征提取模块提取特征,通过嵌入特征模块计算该未剪切视频的嵌入特征,然后将该嵌入特征通过背景干扰抑制模块和特征对齐模块处理后得到其增强特征;将增强特征通过非极大值抑制法计算出最终的定位结果。通过本方法可以降低背景信息带来的干扰和提高行为信息表达的完整性,使最终的定位结果更加准确。

    一种基于k-means算法的弱监督行为识别方法

    公开(公告)号:CN113033495B

    公开(公告)日:2022-08-02

    申请号:CN202110480621.4

    申请日:2021-04-30

    Applicant: 重庆大学

    Abstract: 本发明涉及一种基于k‑means算法的弱监督行为识别方法,包括如下步骤:选择公开数据集;构建行为识别模型,所述行为识别模型,包括预测簇模块、权重生成模块和分类模块;分别针对预测簇模块、权重生成模块和分类模块进行训练,得到训练好的行为识别模型;将待预测行为样本输入训练好的行为识别模型,输出为待预测行为样本的预测结果。本发明所构建的行为识别模块,创造性的加入了权重元素,可以有效的提升行为识别的准确性。

    一种基于深度学习的细粒度行为识别方法

    公开(公告)号:CN114821669A

    公开(公告)日:2022-07-29

    申请号:CN202210597200.4

    申请日:2022-05-26

    Applicant: 重庆大学

    Abstract: 本发明涉及一种基于深度学习的细粒度行为识别方法,包括如下步骤:选用公开数据集,构建细粒度行为识别模型M,该模型包括基础行为识别模型TSN/TSM和行为扩展模型DFLM两部分;通过M中的基础行为识别模型对公开数据集中的视频进行特征提取,然后根据特征及相应标签构建得到三条支流结构;通过行为扩展模型DFLM执行自底向上和自顶向下两个阶段得到元素级和集合级的新特征;构建损失函数并通过损失函数对模型M进行训练,得到训练好的细粒度行为识别模型;通过将元素级和集合级的新特征输入到现有的分类器模型中,得到最终的细粒度行为识别结果。本发明方法能够对实际中行为间的差异性引起的更为复杂多变的更细粒度行为进行准确的识别。

    一种基于知识蒸馏的弱监督视频时序行为定位方法

    公开(公告)号:CN113591731A

    公开(公告)日:2021-11-02

    申请号:CN202110887042.1

    申请日:2021-08-03

    Applicant: 重庆大学

    Abstract: 本发明公开了一种基于知识蒸馏的弱监督视频时序行为定位方法。包括具体步骤如下:构建分类器模型,选定一个行为类别的已剪切视频,对该视频进行视频特征提取和嵌入特征计算;利用嵌入特征计算Pcls和W0,之后计算出Pscore;通过Pscore计算交叉熵损失来更新分类器模型中各个模块的相关参数。构建教师学生网络模型,选择一个该行为类别的未剪切视频,通过特征提取模块提取特征,通过嵌入特征模块计算该未剪切视频的嵌入特征,然后将该嵌入特征通过背景干扰抑制模块和特征对齐模块处理后得到其增强特征;将增强特征通过非极大值抑制法计算出最终的定位结果。通过本方法可以降低背景信息带来的干扰和提高行为信息表达的完整性,使最终的定位结果更加准确。

    一种基于k-means算法的弱监督行为识别方法

    公开(公告)号:CN113033495A

    公开(公告)日:2021-06-25

    申请号:CN202110480621.4

    申请日:2021-04-30

    Applicant: 重庆大学

    Abstract: 本发明涉及一种基于k‑means算法的弱监督行为识别方法,包括如下步骤:选择公开数据集;构建行为识别模型,所述行为识别模型,包括预测簇模块、权重生成模块和分类模块;分别针对预测簇模块、权重生成模块和分类模块进行训练,得到训练好的行为识别模型;将待预测行为样本输入训练好的行为识别模型,输出为待预测行为样本的预测结果。本发明所构建的行为识别模块,创造性的加入了权重元素,可以有效的提升行为识别的准确性。

    一种基于强化学习注意力机制的行为识别方法

    公开(公告)号:CN110852273A

    公开(公告)日:2020-02-28

    申请号:CN201911099446.3

    申请日:2019-11-12

    Applicant: 重庆大学

    Abstract: 本发明公开了一种基于强化学习注意力机制的行为识别方法,该基于强化学习注意力机制的行为识别方法包括以下步骤:S1:将构建的TSN卷积神经网络模型进行预训练,并通过所述TSN卷积神经网络模型从预先配置好的数据集中提取特征通道集;S2:将构建的深度强化学习网络模型进行预训练,并通过所述深度强化学习网络模型对所述特征通道集进行关键通道集的选择;S3:将构建的判别器神经网络模型进行预训练,并通过所述判别器神经网络模型对所述关键通道集进行动作分类。有益效果:本发明使用深度强化学习的方法获得一个能够主动关注到关键特征通道的注意力机制,并通过该深度强化学习方法可以达到提高视频识别精度的效果。

    基于阈值操作的代价敏感神经网络的警告分类方法

    公开(公告)号:CN106096635B

    公开(公告)日:2019-11-15

    申请号:CN201610392772.3

    申请日:2016-06-06

    Applicant: 重庆大学

    Abstract: 本发明涉及基于阈值操作的代价敏感神经网络的警告分类方法,包括S1使用FindBugs工具对目标软件一系列版本的jar文件进行分析,得到目标软件的静态警告;S2对S1获得的静态警告进行标注;S3采用代价敏感的BP神经网络,使用样本集中的样本训练分类器,采用该分类器对样本集中的所有样本进行分类,计算得到用于预测有效警告或误报警告的真实类别概率值,采用阈值操作的方式对真实类别概率值进行调整得到新类别概率值,使用该新类别概率值对样本集中的所有样本进行预测分类。本发明方法在有效警告查全率Recall方面平均提高了44.07%,还能快速达到较高而平稳的查全率,同时较传统神经网络方法能达到更低的分类代价。

Patent Agency Ranking