公开(公告)号：CN111626121B

公开(公告)日：2022-12-20

申请号：CN202010330808.1

申请日：2020-04-24

Applicant: 上海交通大学

Inventor： 杨华 ,  李室呈 ,  孙军

IPC: G06V20/40 ,  G06V10/25 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于视频中多层次交互推理的复杂事件识别方法及系统，该方法包括：提取视频中对象的形态与类别特征；建图G＝(V,E,A)表示事件中的交互，考虑对应的对象间的交互；利用三维卷积对视频做卷积，通过视频纹理，图样提取事件的环境特征；将环境特征自适应投影到构建的图中；通过图卷积网络对投影后得到的图进行卷积实现视频中对象与对象、对象与环境、环境与环境的多层次的交互的推理，从而理解视频中所发生的复杂事件。该系统包括：形态与类别特征提取模块、建图模块、环境特征提取模块、投影模块以及图卷积模块。通过本发明，可以识别长时长事件，多层次交互推理提升了识别复杂事件的能力，提高了准确率。

公开(公告)号：CN111626121A

公开(公告)日：2020-09-04

申请号：CN202010330808.1

申请日：2020-04-24

Applicant: 上海交通大学

Inventor： 杨华 ,  李室呈 ,  孙军

IPC: G06K9/00 ,  G06K9/32 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于视频中多层次交互推理的复杂事件识别方法及系统，该方法包括：提取视频中对象的形态与类别特征；建图G＝(V,E,A)表示事件中的交互，考虑对应的对象间的交互；利用三维卷积对视频做卷积，通过视频纹理，图样提取事件的环境特征；将环境特征自适应投影到构建的图中；通过图卷积网络对投影后得到的图进行卷积实现视频中对象与对象、对象与环境、环境与环境的多层次的交互的推理，从而理解视频中所发生的复杂事件。该系统包括：形态与类别特征提取模块、建图模块、环境特征提取模块、投影模块以及图卷积模块。通过本发明，可以识别长时长事件，多层次交互推理提升了识别复杂事件的能力，提高了准确率。