-
公开(公告)号:CN113128368A
公开(公告)日:2021-07-16
申请号:CN202110355107.8
申请日:2021-04-01
Applicant: 西安电子科技大学广州研究院
Abstract: 本发明公开了一种人物交互关系的检测方法、装置及系统,该方法包括:获取待检测的视频段;其中,视频段包含有预设的人物交互动作;将视频段输入预先训练好的目标检测网络中进行分帧目标检测,得到对应每一帧图像的预设的可能与人体发生交互的第一物体检测点;对所述视频段进行分帧处理,提取每一帧图像的预设的第一人体骨架点;将所述第一物体检测点与所述第一人体骨架点按照预设的连接方式进行连接,构建第一时空图并输入到预先训练好的时空图卷积网络模型,得到人物交互动作的检测结果。本发明能解决现有技术中因对场景中所有物体进行检测和只关注人体整体特征并分析人与物体的交互关系而导致的耗时、计算复杂、缺少细粒度的问题。
-
公开(公告)号:CN118430059A
公开(公告)日:2024-08-02
申请号:CN202410469865.6
申请日:2024-04-18
Applicant: 西安电子科技大学广州研究院 , 琶洲实验室(黄埔)
IPC: G06V40/20 , G06V20/40 , G06V10/44 , G06V10/764 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于条件随机场的视频交互行为识别方法。包括:将获取到的视频样本分割为多个连续的视频段,提取每一所述视频段中每一帧的实体特征;将所述实体特征输入到视频人物交互模型中,输出概率分布;根据每一所述视频段归纳得到状态连接关系,将所述状态连接关系映射为转移矩阵;构建条件随机场,将所述概率分布作为所述条件随机场的发射分数,将所述转移矩阵作为所述条件随机场的转移分数;根据所述条件随机场,输出每一所述视频段对应的类别序列。能够充分利用深度学习的特征表示能力,提高了视频人物交互识别的效率和准确性。
-
公开(公告)号:CN113128368B
公开(公告)日:2022-05-03
申请号:CN202110355107.8
申请日:2021-04-01
Applicant: 西安电子科技大学广州研究院
IPC: G06V40/20 , G06V40/10 , G06V20/40 , G06V10/34 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种人物交互关系的检测方法、装置及系统,该方法包括:获取待检测的视频段;其中,视频段包含有预设的人物交互动作;将视频段输入预先训练好的目标检测网络中进行分帧目标检测,得到对应每一帧图像的预设的可能与人体发生交互的第一物体检测点;对所述视频段进行分帧处理,提取每一帧图像的预设的第一人体骨架点;将所述第一物体检测点与所述第一人体骨架点按照预设的连接方式进行连接,构建第一时空图并输入到预先训练好的时空图卷积网络模型,得到人物交互动作的检测结果。本发明能解决现有技术中因对场景中所有物体进行检测和只关注人体整体特征并分析人与物体的交互关系而导致的耗时、计算复杂、缺少细粒度的问题。
-
-