公开(公告)号：CN114429119B

公开(公告)日：2024-05-28

申请号：CN202210054069.7

申请日：2022-01-18

Applicant: 重庆大学

Inventor： 王洪星 ,  傅豪 ,  荆铭 ,  冯超 ,  张小洪

IPC: G06F40/211 ,  G06V20/62 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/044 ,  G06N3/08

Abstract: 本发明公开了一种基于多交叉注意力的视频与字幕片段检索方法，包括得到给定视频V的特征矩阵Ev；提取查询语句对应的特征矩阵Eq和V所对应字幕的特征矩阵Es；计算Eq与Ev，Eq与Es之间的关联关系，得到#imgabs0#和#imgabs1#将#imgabs2#和#imgabs3#转化为q(v)和q(s)；计算最终每个片段与查询语句之间的匹配度；训练前述模型，将新视频数据输入训练后的模型得到概率Pst和Ped，根据Pst和Ped中概率值的大小排序，找出Pst和Ped的值均大的N个片段作为查找的片段。该方法既能处理多个模态数据之间的关系，又可以实现双向注意力引导，从而保证先进的视频‑片段检索性能。

公开(公告)号：CN117372822A

公开(公告)日：2024-01-09

申请号：CN202311382599.5

申请日：2023-10-24

Applicant: 重庆大学

Inventor： 王洪星 ,  荆铭 ,  欧志龙 ,  李佳鑫 ,  赵子怡

IPC: G06V10/778 ,  G06V10/774 ,  G06V10/764 ,  G06V10/766

Abstract: 本发明公开了一种基于物体回归前后分类一致性的物体检测主动学习方法。包括根据阈值筛选合适的边界框；由边界框坐标生成图像的方法；两次分类结果之间差异的比较；根据两次分类的结果计算物体的一致性得分；根据物体的一致性得分计算物体的不确定性；根据物体的不确定性计算图像的不确定性。该方法能够在同时考虑物体分类不确定性和定位不确定性的同时，不依赖于特定的网络结构或是额外的模块构建。

公开(公告)号：CN119068261A

公开(公告)日：2024-12-03

申请号：CN202411233552.7

申请日：2024-09-04

Applicant: 重庆大学

Inventor： 王洪星 ,  荆铭 ,  张永湛 ,  张希如 ,  欧志龙

IPC: G06V10/764 ,  G06V10/774 ,  G06N3/09 ,  G06V10/82 ,  G06V10/25

Abstract: 本发明公开了一种基于区域级信息量的物体检测主动学习方法。包括根据模型对图像的预测进行区域划分；计算区域信息量的三种模块；计算区域不确定度模块；计算区域类内特征差异性模块；计算区域内特征差异性模块；计算图像动态权重模块。该方法将图像中的物体划分为了不同的区域，考虑了图像中物体间的联系，同时不依赖于特定的网络结构或是额外的模块构建。

公开(公告)号：CN114429119A

公开(公告)日：2022-05-03

申请号：CN202210054069.7

申请日：2022-01-18

Applicant: 重庆大学

Inventor： 王洪星 ,  傅豪 ,  荆铭 ,  冯超 ,  张小洪

IPC: G06F40/211 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V20/62

Abstract: 本发明公开了一种基于多交叉注意力的视频与字幕片段检索方法，包括得到给定视频V的特征矩阵Ev；提取查询语句对应的特征矩阵Eq和V所对应字幕的特征矩阵Es；计算Eq与Ev，Eq与Es之间的关联关系，得到和将和转化为q(v)和q(s)；计算最终每个片段与查询语句之间的匹配度；训练前述模型，将新视频数据输入训练后的模型得到概率Pst和Ped，根据Pst和Ped中概率值的大小排序，找出Pst和Ped的值均大的N个片段作为查找的片段。该方法既能处理多个模态数据之间的关系，又可以实现双向注意力引导，从而保证先进的视频‑片段检索性能。