一种基于多交叉注意力的视频与字幕片段检索方法

    公开(公告)号:CN114429119B

    公开(公告)日:2024-05-28

    申请号:CN202210054069.7

    申请日:2022-01-18

    Applicant: 重庆大学

    Abstract: 本发明公开了一种基于多交叉注意力的视频与字幕片段检索方法,包括得到给定视频V的特征矩阵Ev;提取查询语句对应的特征矩阵Eq和V所对应字幕的特征矩阵Es;计算Eq与Ev,Eq与Es之间的关联关系,得到#imgabs0#和#imgabs1#将#imgabs2#和#imgabs3#转化为q(v)和q(s);计算最终每个片段与查询语句之间的匹配度;训练前述模型,将新视频数据输入训练后的模型得到概率Pst和Ped,根据Pst和Ped中概率值的大小排序,找出Pst和Ped的值均大的N个片段作为查找的片段。该方法既能处理多个模态数据之间的关系,又可以实现双向注意力引导,从而保证先进的视频‑片段检索性能。

    基于物体回归前后分类一致性的物体检测主动学习方法

    公开(公告)号:CN117372822A

    公开(公告)日:2024-01-09

    申请号:CN202311382599.5

    申请日:2023-10-24

    Applicant: 重庆大学

    Abstract: 本发明公开了一种基于物体回归前后分类一致性的物体检测主动学习方法。包括根据阈值筛选合适的边界框;由边界框坐标生成图像的方法;两次分类结果之间差异的比较;根据两次分类的结果计算物体的一致性得分;根据物体的一致性得分计算物体的不确定性;根据物体的不确定性计算图像的不确定性。该方法能够在同时考虑物体分类不确定性和定位不确定性的同时,不依赖于特定的网络结构或是额外的模块构建。

    一种基于知识蒸馏的弱监督视频时序行为定位方法

    公开(公告)号:CN113591731B

    公开(公告)日:2023-09-05

    申请号:CN202110887042.1

    申请日:2021-08-03

    Applicant: 重庆大学

    Abstract: 本发明公开了一种基于知识蒸馏的弱监督视频时序行为定位方法。包括具体步骤如下:构建分类器模型,选定一个行为类别的已剪切视频,对该视频进行视频特征提取和嵌入特征计算;利用嵌入特征计算Pcls和W0,之后计算出Pscore;通过Pscore计算交叉熵损失来更新分类器模型中各个模块的相关参数。构建教师学生网络模型,选择一个该行为类别的未剪切视频,通过特征提取模块提取特征,通过嵌入特征模块计算该未剪切视频的嵌入特征,然后将该嵌入特征通过背景干扰抑制模块和特征对齐模块处理后得到其增强特征;将增强特征通过非极大值抑制法计算出最终的定位结果。通过本方法可以降低背景信息带来的干扰和提高行为信息表达的完整性,使最终的定位结果更加准确。

    一种基于知识蒸馏的弱监督视频时序行为定位方法

    公开(公告)号:CN113591731A

    公开(公告)日:2021-11-02

    申请号:CN202110887042.1

    申请日:2021-08-03

    Applicant: 重庆大学

    Abstract: 本发明公开了一种基于知识蒸馏的弱监督视频时序行为定位方法。包括具体步骤如下:构建分类器模型,选定一个行为类别的已剪切视频,对该视频进行视频特征提取和嵌入特征计算;利用嵌入特征计算Pcls和W0,之后计算出Pscore;通过Pscore计算交叉熵损失来更新分类器模型中各个模块的相关参数。构建教师学生网络模型,选择一个该行为类别的未剪切视频,通过特征提取模块提取特征,通过嵌入特征模块计算该未剪切视频的嵌入特征,然后将该嵌入特征通过背景干扰抑制模块和特征对齐模块处理后得到其增强特征;将增强特征通过非极大值抑制法计算出最终的定位结果。通过本方法可以降低背景信息带来的干扰和提高行为信息表达的完整性,使最终的定位结果更加准确。

    一种基于强化学习注意力机制的行为识别方法

    公开(公告)号:CN110852273A

    公开(公告)日:2020-02-28

    申请号:CN201911099446.3

    申请日:2019-11-12

    Applicant: 重庆大学

    Abstract: 本发明公开了一种基于强化学习注意力机制的行为识别方法,该基于强化学习注意力机制的行为识别方法包括以下步骤:S1:将构建的TSN卷积神经网络模型进行预训练,并通过所述TSN卷积神经网络模型从预先配置好的数据集中提取特征通道集;S2:将构建的深度强化学习网络模型进行预训练,并通过所述深度强化学习网络模型对所述特征通道集进行关键通道集的选择;S3:将构建的判别器神经网络模型进行预训练,并通过所述判别器神经网络模型对所述关键通道集进行动作分类。有益效果:本发明使用深度强化学习的方法获得一个能够主动关注到关键特征通道的注意力机制,并通过该深度强化学习方法可以达到提高视频识别精度的效果。

    基于阈值操作的代价敏感神经网络的警告分类方法

    公开(公告)号:CN106096635B

    公开(公告)日:2019-11-15

    申请号:CN201610392772.3

    申请日:2016-06-06

    Applicant: 重庆大学

    Abstract: 本发明涉及基于阈值操作的代价敏感神经网络的警告分类方法,包括S1使用FindBugs工具对目标软件一系列版本的jar文件进行分析,得到目标软件的静态警告;S2对S1获得的静态警告进行标注;S3采用代价敏感的BP神经网络,使用样本集中的样本训练分类器,采用该分类器对样本集中的所有样本进行分类,计算得到用于预测有效警告或误报警告的真实类别概率值,采用阈值操作的方式对真实类别概率值进行调整得到新类别概率值,使用该新类别概率值对样本集中的所有样本进行预测分类。本发明方法在有效警告查全率Recall方面平均提高了44.07%,还能快速达到较高而平稳的查全率,同时较传统神经网络方法能达到更低的分类代价。

    基于过采样操作的代价敏感神经网络的警告分类方法

    公开(公告)号:CN106095671B

    公开(公告)日:2018-10-02

    申请号:CN201610392819.6

    申请日:2016-06-06

    Applicant: 重庆大学

    Abstract: 本发明涉及基于过采样操作的代价敏感神经网络的警告分类方法,包括S1使用FindBugs工具对目标软件一系列版本的jar文件进行分析,得到目标软件的静态警告;S2对S1获得的静态警告进行标注;S3采用BP神经网络,使用过采样的方式改变样本集中样本的分布得到新的样本集,采用新的样本集中的样本训练分类器,然后使用该分类器对样本集中的所有样本进行预测分类,将样本集中的所有样本预测为有效警告或误报警告。本发明方法在有效警告查全率Recall方面平均提高了44.07%,还能快速达到较高而平稳的查全率,同时较传统神经网络方法能达到更低的分类代价。

    基于跨模态融合和模态去相关的跨模态行人再识别方法

    公开(公告)号:CN116630884B

    公开(公告)日:2025-04-04

    申请号:CN202310569837.7

    申请日:2023-05-19

    Applicant: 重庆大学

    Abstract: 本发明涉及一种基于跨模态融合和模态去相关的跨模态行人再识别方法,该方法利用两个部分充分挖掘两个模态样本图像和特征间的关联:跨模态通道融合和模态去相关五元组损失。跨模态通道融合作为数据增强,相当于在数据集中补充了同时具有RGB和红外图像信息的新样本,使得模型的输入空间更加连续。CCM不会引入额外的参数或模型,可以很容易地与其他方法结合。该方法同时考虑了两个模态的图像信息,促使模型学习模态间的关联。模态去相关五元组损失约束了正样本对和负样本对内部的距离关系,从而减小特征与其所属模态的相关性,消除特征中冗余的模态特定信息。该方法从图像和特征层面同时解决模态差异问题,能更好地提升跨模态检索的性能。

Patent Agency Ranking