-
公开(公告)号:CN117876939B
公开(公告)日:2024-05-24
申请号:CN202410270021.9
申请日:2024-03-11
Applicant: 南京信息工程大学
IPC: G06V20/40 , G06V40/20 , G06V10/42 , G06V10/44 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于时空特征增强的实时时空行为检测方法及装置,方法包括:将待检测的视频数据输入训练好的检测网络,得到实时时空行为检测结果;检测网络的训练包括:将原始视频截取为多个等时长的视频片段,将每个视频片段截取固定帧数的图像;对视频片段和其中的关键帧进行特征提取,得到时空特征和空间解耦特征;将时空特征输入到轻量时空扩张增强模块,得到时空增强特征;将时空增强特征进行上采样操作并与空间解耦特征在空间维度上对齐连接,将连接后的特征输入多尺度特征融合模块作为动作分类及定位的依据;优化损失函数并重复训练使得检测网络收敛,得到训练好的检测网络。本发明有效权衡了检测精度和速度,适用于实时行为检测任务。
-
公开(公告)号:CN118429870A
公开(公告)日:2024-08-02
申请号:CN202410897337.0
申请日:2024-07-05
Applicant: 南京信息工程大学
IPC: G06V20/40 , G06V20/52 , G06V10/42 , G06V10/44 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/0464 , G06N3/0499 , G06N3/08
Abstract: 本发明公开了一种群体行为识别方法、系统和存储介质,包括:获取待识别的视频帧;根据视频帧,基于预训练好的群体行为识别模型,得到群体行为类别;所述群体行为识别模型包括:骨干网络、融合模块、嵌入层、关系推理模块、图卷积网络、全局平均池化层以及分类器。本发明通过模型中的融合模块将全局特征中包含的场景信息嵌入个体特征中,为个体动作与群体行为类别的推理提供了信息丰富的融合特征,最终提高了群体行为的识别精度。
-
公开(公告)号:CN118429870B
公开(公告)日:2024-11-12
申请号:CN202410897337.0
申请日:2024-07-05
Applicant: 南京信息工程大学
IPC: G06V20/40 , G06V20/52 , G06V10/42 , G06V10/44 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/0464 , G06N3/0499 , G06N3/08
Abstract: 本发明公开了一种群体行为识别方法、系统和存储介质,包括:获取待识别的视频帧;根据视频帧,基于预训练好的群体行为识别模型,得到群体行为类别;所述群体行为识别模型包括:骨干网络、融合模块、嵌入层、关系推理模块、图卷积网络、全局平均池化层以及分类器。本发明通过模型中的融合模块将全局特征中包含的场景信息嵌入个体特征中,为个体动作与群体行为类别的推理提供了信息丰富的融合特征,最终提高了群体行为的识别精度。
-
公开(公告)号:CN117876939A
公开(公告)日:2024-04-12
申请号:CN202410270021.9
申请日:2024-03-11
Applicant: 南京信息工程大学
IPC: G06V20/40 , G06V40/20 , G06V10/42 , G06V10/44 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于时空特征增强的实时时空行为检测方法及装置,方法包括:将待检测的视频数据输入训练好的检测网络,得到实时时空行为检测结果;检测网络的训练包括:将原始视频截取为多个等时长的视频片段,将每个视频片段截取固定帧数的图像;对视频片段和其中的关键帧进行特征提取,得到时空特征和空间解耦特征;将时空特征输入到轻量时空扩张增强模块,得到时空增强特征;将时空增强特征进行上采样操作并与空间解耦特征在空间维度上对齐连接,将连接后的特征输入多尺度特征融合模块作为动作分类及定位的依据;优化损失函数并重复训练使得检测网络收敛,得到训练好的检测网络。本发明有效权衡了检测精度和速度,适用于实时行为检测任务。
-
-
-