一种面向视频的事件知识抽取方法、系统、设备及介质

    公开(公告)号:CN119206573A

    公开(公告)日:2024-12-27

    申请号:CN202411255751.8

    申请日:2024-09-09

    Applicant: 上海大学

    Abstract: 本发明属于视频处理技术领域,并公开了一种面向视频的事件知识抽取方法、系统、设备及介质,包括:对待处理视频进行视频帧分割,基于物理空间角度和嵌入空间角度对各视频帧进行抽取,得到若干关键帧;生成各关键帧对应的图像标题;将各关键帧及对应的图像标题输入多模态事件抽取模型中进行事件提取,得到各关键帧对应的事件;其中,多模态事件抽取模型包括依次连接的特征提取模块、基于注意力机制的多模态特征融合模块和分类器构成;基于待处理视频的固有时间顺序信息,对各关键帧及对应的事件进行排序归纳,得到待处理视频中的事件知识及事件演化轨迹。本发明所述技术方案能够提升事件知识抽取的准确性和丰富度、减少了人工参与的必要。

Patent Agency Ranking