基于多模态融合模型的体育赛事解说视频剪辑方法及系统

    公开(公告)号:CN117857841A

    公开(公告)日:2024-04-09

    申请号:CN202410056166.9

    申请日:2024-01-15

    Applicant: 东南大学

    Inventor: 陈奕帆 张祥

    Abstract: 本发明公开了基于多模态融合模型的体育赛事解说视频剪辑方法及系统,涉及视频剪辑技术领域,包括:接收体育赛事解说视频及剪辑切片,将体育赛事解说视频及剪辑切片整合生成体育赛事解说视频剪辑数据集;将体育赛事解说视频剪辑数据集输入至预先建立的多模态融合模型内,输出得到推理结果,利用得到的推理结果与体育赛事解说视频剪辑数据集内的数据进行计算,得交叉熵损失函数;设定函数阈值,若交叉熵损失函数小于阈值,则更新并保存多模态融合模型参数,得到训练后的多模态融合模型参数,若大于等于阈值,则重新计算,至小于阈值为止;将体育赛事解说视频输入至训练后的多模态融合模型参数内,得到优化推理结果,对体育赛事解说视频进行剪辑。

Patent Agency Ranking