公开(公告)号：CN112231516A

公开(公告)日：2021-01-15

申请号：CN202011057685.5

申请日：2020-09-29

Applicant: 北京三快在线科技有限公司

Inventor： 柴振华 ,  王君岩 ,  白杨 ,  胡炳彰 ,  龙洋

IPC: G06F16/738 ,  G06F16/74 ,  G06T7/00

Abstract: 本申请公开了一种视频摘要生成模型的训练方法、视频摘要生成方法及装置，属于机器学习领域。该方法包括：获取视频样本，从视频样本中确定出至少两帧样本图像，每一帧样本图像标注有参考评分；调用视频摘要生成模型分别对每一帧样本图像进行时间特征与空间特征的混合自注意力学习，得到样本图像在时间与空间上的混合特征向量；调用视频摘要生成模型基于混合特征向量对样本图像进行评分，得到每一帧样本图像作为视频摘要的重要性评分；基于参考评分与重要性评分之间的学习损失更新视频摘要生成模型中的模型参数，最终得到训练完成的视频摘要生成模型。该方法使得模型能够更充分的捕捉视频的上下文信息，生成时序表达优秀的视频摘要。

公开(公告)号：CN112231516B

公开(公告)日：2024-02-27

申请号：CN202011057685.5

申请日：2020-09-29

Applicant: 北京三快在线科技有限公司

Inventor： 柴振华 ,  王君岩 ,  白杨 ,  胡炳彰 ,  龙洋

IPC: G06F16/738 ,  G06F16/74 ,  G06T7/00

Abstract: 本申请公开了一种视频摘要生成模型的训练方法、视频摘要生成方法及装置，属于机器学习领域。该方法包括：获取视频样本，从视频样本中确定出至少两帧样本图像，每一帧样本图像标注有参考评分；调用视频摘要生成模型分别对每一帧样本图像进行时间特征与空间特征的混合自注意力学习，得到样本图像在时间与空间上的混合特征向量；调用视频摘要生成模型基于混合特征向量对样本图像进行评分，得到每一帧样本图像作为视频摘要的重要性评分；基于参考评分与重要性评分之间的学习损失更新视频摘要生成模型中的模型参数，最终得到训练完成的视频摘要生成模型。该方法使得模型能够更充分的捕捉视频的上下文信息，生成时序表达优秀的视频摘要。