公开(公告)号：CN115311595B

公开(公告)日：2023-11-03

申请号：CN202210771422.3

申请日：2022-06-30

Applicant: 中国科学院自动化研究所

Inventor： 罗冠 ,  魏久桐 ,  李兵 ,  胡卫明

IPC: G06V20/40 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G10L25/18

Abstract: 本发明提供一种视频特征提取方法、装置及电子设备，涉及视频处理技术领域，可以应用于视频特征提取的场景。该视频特征提取方法包括：获取视频图像和视频图像对应的音频数据；将音频数据转换为声谱图，得到声谱图像；将视频图像和声谱图像输入至视频特征提取模型，得到视频特征提取模型输出的视频特征；其中，视频特征提取模型是基于样本视频数据和对偶式对比学习模型对基础神经网络模型进行预训练得到的，对偶式对比学习模型用于对样本视频数据经基础神经网络模型处理后输出的第一多模态样本特征矩阵分别进行行维度和列维度上的对比学习。本发明提供的技术方案可以提高视频特征提取的准确性和泛化性。

公开(公告)号：CN115311595A

公开(公告)日：2022-11-08

申请号：CN202210771422.3

申请日：2022-06-30

Applicant: 中国科学院自动化研究所

Inventor： 罗冠 ,  魏久桐 ,  李兵 ,  胡卫明

IPC: G06V20/40 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  G10L25/18

Abstract: 本发明提供一种视频特征提取方法、装置及电子设备，涉及视频处理技术领域，可以应用于视频特征提取的场景。该视频特征提取方法包括：获取视频图像和视频图像对应的音频数据；将音频数据转换为声谱图，得到声谱图像；将视频图像和声谱图像输入至视频特征提取模型，得到视频特征提取模型输出的视频特征；其中，视频特征提取模型是基于样本视频数据和对偶式对比学习模型对基础神经网络模型进行预训练得到的，对偶式对比学习模型用于对样本视频数据经基础神经网络模型处理后输出的第一多模态样本特征矩阵分别进行行维度和列维度上的对比学习。本发明提供的技术方案可以提高视频特征提取的准确性和泛化性。