公开(公告)号：CN112149616B

公开(公告)日：2023-10-20

申请号：CN202011087925.6

申请日：2020-10-13

Applicant: 西安电子科技大学

Inventor： 谢雪梅 ,  张晨 ,  李启越 ,  吴树奇 ,  石光明

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明公开了一种基于动态信息的人物交互行为识别方法，通过生成人物交互训练集并搭建人物交互行为识别网络，克服了现有技术适用性不好、对往复动作和遮挡动作有误判的问题。本发明实现的步骤是：(1)生成人物交互训练集；(2)构建视觉特征提取模块；(3)构建空间特征提取模块；(4)构建时序特征提取模块；(5)构建人物交互行为识别网络；(6)训练人物交互行为识别网络；(7)识别视频图像中的人物交互行为。本发明具有人物交互行为识别网络识别交互行为识别率高、适用性好的优点，可用于视频图像中交互行为的识别。

公开(公告)号：CN113128368A

公开(公告)日：2021-07-16

申请号：CN202110355107.8

申请日：2021-04-01

Applicant: 西安电子科技大学广州研究院

Inventor： 谢雪梅 ,  李锦航 ,  李启越 ,  吴树奇

IPC: G06K9/00 ,  G06K9/44 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种人物交互关系的检测方法、装置及系统，该方法包括：获取待检测的视频段；其中，视频段包含有预设的人物交互动作；将视频段输入预先训练好的目标检测网络中进行分帧目标检测，得到对应每一帧图像的预设的可能与人体发生交互的第一物体检测点；对所述视频段进行分帧处理，提取每一帧图像的预设的第一人体骨架点；将所述第一物体检测点与所述第一人体骨架点按照预设的连接方式进行连接，构建第一时空图并输入到预先训练好的时空图卷积网络模型，得到人物交互动作的检测结果。本发明能解决现有技术中因对场景中所有物体进行检测和只关注人体整体特征并分析人与物体的交互关系而导致的耗时、计算复杂、缺少细粒度的问题。

公开(公告)号：CN113128368B

公开(公告)日：2022-05-03

申请号：CN202110355107.8

申请日：2021-04-01

Applicant: 西安电子科技大学广州研究院

Inventor： 谢雪梅 ,  李锦航 ,  李启越 ,  吴树奇

IPC: G06V40/20 ,  G06V40/10 ,  G06V20/40 ,  G06V10/34 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种人物交互关系的检测方法、装置及系统，该方法包括：获取待检测的视频段；其中，视频段包含有预设的人物交互动作；将视频段输入预先训练好的目标检测网络中进行分帧目标检测，得到对应每一帧图像的预设的可能与人体发生交互的第一物体检测点；对所述视频段进行分帧处理，提取每一帧图像的预设的第一人体骨架点；将所述第一物体检测点与所述第一人体骨架点按照预设的连接方式进行连接，构建第一时空图并输入到预先训练好的时空图卷积网络模型，得到人物交互动作的检测结果。本发明能解决现有技术中因对场景中所有物体进行检测和只关注人体整体特征并分析人与物体的交互关系而导致的耗时、计算复杂、缺少细粒度的问题。

公开(公告)号：CN112149616A

公开(公告)日：2020-12-29

申请号：CN202011087925.6

申请日：2020-10-13

Applicant: 西安电子科技大学

Inventor： 谢雪梅 ,  张晨 ,  李启越 ,  吴树奇 ,  石光明

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于动态信息的人物交互行为识别方法，通过生成人物交互训练集并搭建人物交互行为识别网络，克服了现有技术适用性不好、对往复动作和遮挡动作有误判的问题。本发明实现的步骤是：(1)生成人物交互训练集；(2)构建视觉特征提取模块；(3)构建空间特征提取模块；(4)构建时序特征提取模块；(5)构建人物交互行为识别网络；(6)训练人物交互行为识别网络；(7)识别视频图像中的人物交互行为。本发明具有人物交互行为识别网络识别交互行为识别率高、适用性好的优点，可用于视频图像中交互行为的识别。