-
公开(公告)号:CN114627402B
公开(公告)日:2024-08-13
申请号:CN202111644165.9
申请日:2021-12-30
Applicant: 湖南大学
Abstract: 本发明公开了一种基于时空图的跨模态视频时刻定位方法及系统,方法包括:S1、输入未剪辑视频和查询文本,对未剪辑视频采用多尺度滑动窗口截取视频片段候选集;S2、提取文本特征和视频片段特征,利用预训练的场景图生成模型对视频片段生成时空图表示;S3、将视频的时空图通过多层图卷积神经网络,获得的时空图特征与视频片段特征拼接,得到富含时空语义信息的视频特征;S4、将含有时空信息的视频特征与文本特征通过全连接层投影到同一特征空间,进行拼接后获得视频文本模态融合特征;S5、将视频文本模态融合特征输入多层感知机网络,获得文本视频匹配分数和位置偏移向量。本发明可以细粒度地理解视频语义信息,返回更加精确的视频定位边界。
-
公开(公告)号:CN114627402A
公开(公告)日:2022-06-14
申请号:CN202111644165.9
申请日:2021-12-30
Applicant: 湖南大学
Abstract: 本发明公开了一种基于时空图的跨模态视频时刻定位方法及系统,方法包括:S1、输入未剪辑视频和查询文本,对未剪辑视频采用多尺度滑动窗口截取视频片段候选集;S2、提取文本特征和视频片段特征,利用预训练的场景图生成模型对视频片段生成时空图表示;S3、将视频的时空图通过多层图卷积神经网络,获得的时空图特征与视频片段特征拼接,得到富含时空语义信息的视频特征;S4、将含有时空信息的视频特征与文本特征通过全连接层投影到同一特征空间,进行拼接后获得视频文本模态融合特征;S5、将视频文本模态融合特征输入多层感知机网络,获得文本视频匹配分数和位置偏移向量。本发明可以细粒度地理解视频语义信息,返回更加精确的视频定位边界。
-
公开(公告)号:CN115409070A
公开(公告)日:2022-11-29
申请号:CN202211202551.7
申请日:2022-09-29
Applicant: 湖南大学
Abstract: 本申请涉及一种离散数据序列临界点的确定方法、装置、计算机设备、存储介质和计算机程序产品。方法包括:对离散数据序列进行平滑处理,得到平滑离散数据序列;识别平滑离散数据序列中的极值,构建极值数据序列;以极值数据序列中每一极值为目标极值,确定极值数据序列中与目标极值相邻的数据分别与目标极值之间差值的平均值;以目标极值为中心,基于极值数据序列中各数据与目标极值的大小比较结果,确定目标范围,识别目标范围内与目标极值的差值小于或等于平均值的目标数据;基于各目标数据在平滑离散数据序列中的位置,确定目标极值对应的临界点的位置,并将各目标数据的平均值确定为临界点的值。采用本方法能够提高寻找数据临界点准确性。
-
-