公开(公告)号：CN113158735B

公开(公告)日：2024-08-23

申请号：CN202110075596.1

申请日：2021-01-20

Applicant: 北京工业大学

Inventor： 任柯燕 ,  钱欣艳 ,  岳天一 ,  张淳 ,  张文济

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/042 ,  G06N3/048

Abstract: 本发明公开了一种基于图神经网络的密集事件描述方法，能够根据视频生成包含全部事件的时间及对应文字描述。该方法包括以下步骤：利用光流法、3D卷积网络和2D卷积网络分别对视频数据提取特征；对2D卷积网络提取的特征建立空间图，通过图卷积网络迭代后生成的特征与光流法、3D卷积特征拼接为长特征；采用锚边框对不同时间段的特征进行检测，划分为不同密集事件时间区域；采用非极大值抑制策略来消除重叠区域过多及分数较低的候选时间区域；对每个候选区域特征构建时间图，通过GAT更新每节点特征；将每个候选区域特征通过LSTM解码成对应文字输出。本发明结合空间信息和时序信息生成更精确的事件发生时间和对应的描述语言。

公开(公告)号：CN113158735A

公开(公告)日：2021-07-23

申请号：CN202110075596.1

申请日：2021-01-20

Applicant: 北京工业大学

Inventor： 任柯燕 ,  钱欣艳 ,  岳天一 ,  张淳 ,  张文济

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于图神经网络的密集事件描述方法，能够根据视频生成包含全部事件的时间及对应文字描述。该方法包括以下步骤：利用光流法、3D卷积网络和2D卷积网络分别对视频数据提取特征；对2D卷积网络提取的特征建立空间图，通过图卷积网络迭代后生成的特征与光流法、3D卷积特征拼接为长特征；采用锚边框对不同时间段的特征进行检测，划分为不同密集事件时间区域；采用非极大值抑制策略来消除重叠区域过多及分数较低的候选时间区域；对每个候选区域特征构建时间图，通过GAT更新每节点特征；将每个候选区域特征通过LSTM解码成对应文字输出。本发明结合空间信息和时序信息生成更精确的事件发生时间和对应的描述语言。