公开(公告)号：CN118626926A

公开(公告)日：2024-09-10

申请号：CN202410712802.9

申请日：2024-06-04

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 李名池 ,  袁晓兵

IPC: G06F18/241 ,  G06F18/25 ,  G06V20/40 ,  G06V10/30 ,  G06V10/764 ,  G06V10/74 ,  G06V10/82 ,  G06N3/0895 ,  G10L25/51 ,  G10L25/30 ,  G10L15/16

Abstract: 本发明涉及一种音视频联合的事件检测方法，包括以下步骤：获取目标音视频，所述目标音视频包含若干连续的音视频片段；利用音视频检测模型分析所述目标音视频获得事件分类结果：所述音视频检测模型通过弱监督学习进行优化，并通过以下步骤来去除标签噪声：获取辅助音视频，所述辅助音视频包含与所述目标音视频不相关的事件类别；通过交换所述目标音视频和所述辅助音视频的音频模态或视觉模态生成对抗性样本；利用置信度预测模型分析获得所述目标音视频和所述对抗性样本的事件类别和事件置信度；根据所述目标音视频和所述对抗性样本的事件类别和事件置信度来去除标签噪声。本发明能够提高事件检测的准确性。