-
公开(公告)号：CN113536035B
公开(公告)日：2024-06-25
申请号：CN202110463603.5
申请日：2021-04-27
Applicant: 北京工业大学
IPC: G06V20/40 , G06V10/762 , G06V10/56 , G06V10/50 , G06V10/82 , G06V20/52 , G06N3/0464 , G06N3/088
Abstract: 本发明涉及一种基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器。具体包括：针对监控视频，每隔一定的时间抽取帧，并使用卷积神经网络提取得到视频帧组的视觉特征组；使用图像直方图找到视频帧组断点以设置聚群数量，对视频帧组进行分类；利用聚类得到的视频帧组聚群，分聚群进行备选帧的筛选；计算每个聚群的所有备选帧的代表性得分；计算每个聚群的特异性得分；根据特异性得分高低舍弃一部分聚群，剩余聚群中按群分别将备选帧由高到低选择一部分备选帧做为选定帧，并按其在原始视频的时序进行排列生成视频摘要。
-
公开(公告)号：CN113158735B
公开(公告)日：2024-08-23
申请号：CN202110075596.1
申请日：2021-01-20
Applicant: 北京工业大学
IPC: G06V20/40 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/0442 , G06N3/045 , G06N3/042 , G06N3/048
Abstract: 本发明公开了一种基于图神经网络的密集事件描述方法，能够根据视频生成包含全部事件的时间及对应文字描述。该方法包括以下步骤：利用光流法、3D卷积网络和2D卷积网络分别对视频数据提取特征；对2D卷积网络提取的特征建立空间图，通过图卷积网络迭代后生成的特征与光流法、3D卷积特征拼接为长特征；采用锚边框对不同时间段的特征进行检测，划分为不同密集事件时间区域；采用非极大值抑制策略来消除重叠区域过多及分数较低的候选时间区域；对每个候选区域特征构建时间图，通过GAT更新每节点特征；将每个候选区域特征通过LSTM解码成对应文字输出。本发明结合空间信息和时序信息生成更精确的事件发生时间和对应的描述语言。
-
公开(公告)号：CN113158735A
公开(公告)日：2021-07-23
申请号：CN202110075596.1
申请日：2021-01-20
Applicant: 北京工业大学
Abstract: 本发明公开了一种基于图神经网络的密集事件描述方法，能够根据视频生成包含全部事件的时间及对应文字描述。该方法包括以下步骤：利用光流法、3D卷积网络和2D卷积网络分别对视频数据提取特征；对2D卷积网络提取的特征建立空间图，通过图卷积网络迭代后生成的特征与光流法、3D卷积特征拼接为长特征；采用锚边框对不同时间段的特征进行检测，划分为不同密集事件时间区域；采用非极大值抑制策略来消除重叠区域过多及分数较低的候选时间区域；对每个候选区域特征构建时间图，通过GAT更新每节点特征；将每个候选区域特征通过LSTM解码成对应文字输出。本发明结合空间信息和时序信息生成更精确的事件发生时间和对应的描述语言。
-
公开(公告)号：CN113536035A
公开(公告)日：2021-10-22
申请号：CN202110463603.5
申请日：2021-04-27
Applicant: 北京工业大学
IPC: G06F16/738 , G06K9/46 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器。具体包括：针对监控视频，每隔一定的时间抽取帧，并使用卷积神经网络提取得到视频帧组的视觉特征组；使用图像直方图找到视频帧组断点以设置聚群数量，对视频帧组进行分类；利用聚类得到的视频帧组聚群，分聚群进行备选帧的筛选；计算每个聚群的所有备选帧的代表性得分；计算每个聚群的特异性得分；根据特异性得分高低舍弃一部分聚群，剩余聚群中按群分别将备选帧由高到低选择一部分备选帧做为选定帧，并按其在原始视频的时序进行排列生成视频摘要。
-
-
-
Search Results
4
records
(took 0.017 seconds)
