公开(公告)号：CN114913585A

公开(公告)日：2022-08-16

申请号：CN202210555311.9

申请日：2022-05-20

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  解其健 ,  孙伟 ,  刘青山

IPC: G06V40/16 ,  G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06N3/04

Abstract: 本发明涉及老人摔倒检测技术领域，且公开了融合面部表情的居家老人摔倒检测方法，包括以下步骤：1)收集监控视频数据集；2)提取视频中的前景人体目标；3)获取人体头部骨骼点坐标并提取人体头部骨骼点的位移时序特征，同时获取监控视频中人体的面部图像；4)将头部骨骼点的位移时序特征与面部图像分别输入位移时序特征注意力模块与面部表情识别模块；5)获取特征权重，对两个神经网络模块的输出张量特征采用自适应加权特征融合方式进行融合；6)融合后的特征经过分类器进行判断是否为摔倒。该融合面部表情的居家老人摔倒检测方法，通过将面部表情特征与头部骨骼点的位移特征自适应加权特征融合，提高了检测的准确性。

公开(公告)号：CN118334738A

公开(公告)日：2024-07-12

申请号：CN202410406430.7

申请日：2024-04-07

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  解其健 ,  孙伟

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于改进YOLOv5s的老人摔倒检测方法、系统、装置及存储介质，改进YOLOv5s包括骨干网络和特征整合网络；骨干网络包括非对称C3模块；非对称C3模块用于融合从预处理后的图像中提取的水平和垂直两个方向的特征，得到浅层特征图；特征整合网络包括FPN+PAN模块和可形变卷积位置注意力模块；FPN+PAN模块用于融合浅层特征图中高层的强语义特征和低层的强定位特征，得到融合特征图；可形变卷积位置注意力模块分别对融合特征图进行可形变卷积和方向感知。本发明采用的非对称C3模块在原有卷积的基础上融合了水平和垂直两个方向的特征，有更好的泛化能力，能适应更多的应用场景；可形变卷积位置注意力模块可以得到表征能力更强、目标定位更准确的输出特征。

公开(公告)号：CN115546894A

公开(公告)日：2022-12-30

申请号：CN202211245726.2

申请日：2022-10-12

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  解其健 ,  孙伟 ,  张小娜 ,  宋爱国

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/62 ,  G06V10/764 ,  G06V10/82 ,  G06V10/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于轻量化OpenPose时空图网络的行为检测方法，包括以下步骤：(1)收集数据集，将图像预处理；(2)将数据集送入轻量化OpenPose网络，获取人体骨架序列；(3)将人体骨架序列送入DST‑GCN网络，从空间和时间维度提取空间结构特征和时间轨迹特征，形成高级时空特征；(4)使用Softmax分类器将高级时空特征其分类为相应的动作类别；(5)判断测试图像的动作类别。本发明先对OpenPose进行轻量化，提高模型检测的实时性，同时对ST‑GCN采用稠密连接机制进行改进，提高时空卷积层的长距离关联信息提取能力，提高判断准确率。

公开(公告)号：CN116052058A

公开(公告)日：2023-05-02

申请号：CN202310128991.0

申请日：2023-02-17

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  解其健 ,  孙伟

IPC: G06V20/40 ,  G06V40/20 ,  G06V10/82 ,  G06T7/73 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/049 ,  G06N3/08

Abstract: 本发明公开了一种基于高分辨率神经网络模型的居家老人摔倒检测方法、系统、装置及存储介质，属于计算机视觉异常行为检测技术领域，包括获取待检测的视频；对视频进行尺寸预处理；将尺寸预处理后的视频输入到训练好的高分辨率神经网络模型中，输出摔倒检测结果；本发明能够实现对时序特征的处理，很好地满足摔倒检测任务高分辨率的要求，提高摔倒检测的准确性。

公开(公告)号：CN114495150A

公开(公告)日：2022-05-13

申请号：CN202111477529.9

申请日：2021-12-06

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  解其健 ,  孙伟 ,  张小娜

IPC: G06V40/10 ,  G06N3/08 ,  G06N3/04 ,  G06K9/62 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种基于时序特征的人体摔倒检测方法及系统，属于计算机视觉异常行为检测技术领域，方法包括：获取视频样本；将视频样本进行逐帧分解对比，提取手臂的角度时序特征和头部骨骼点的熵的时序特征；将两组时序特征输入预建立的神经网络中，得到包含异常帧信息的第一输出张量与第二输出张量，融合后得到特征张量，输入由全连接层和Sigmoid函数组成的分类器进行分类，所述分类器预先进行过训练，输出人体摔倒与非摔倒的概率，概率高的为检测结果；通过融合手臂的角度时序特征与头部骨骼点的熵的时序特征，能够更好的表示人体的行为，提高检测人体摔倒的概率。