公开(公告)号：CN118658604A

公开(公告)日：2024-09-17

申请号：CN202410622290.7

申请日：2024-05-20

Applicant: 吉林大学

Inventor： 王世刚 ,  王彬如 ,  贾飞勇 ,  赵云秀 ,  陈玫玫 ,  赵岩

IPC: G16H50/20 ,  G16H10/60 ,  G06V40/18 ,  G06V10/25 ,  G06V10/82 ,  G06V20/40 ,  A61B5/16

Abstract: 基于指物识别及视线跟踪的孤独症儿童异常行为检测方法属计算机视觉深度学习技术领域。本发明包括：1.基于YOLOv8目标识别技术针对儿童指物动作的目标检测，计算视频每帧图像中儿童指物动作的置信概率；2.根据ATD网络进行儿童视线跟踪，捕获视线关注点。结合两个网络对指物游戏进行综合评判，判断儿童在该行为中表现是否正常。本发明对幼儿的孤独症谱系障碍诊断进行计算机视觉辅助判断，为准确诊断孤独症谱系障碍提供了更多可能。

公开(公告)号：CN114358194A

公开(公告)日：2022-04-15

申请号：CN202210014731.6

申请日：2022-01-07

Applicant: 吉林大学

Inventor： 王世刚 ,  宋春颐 ,  赵云秀 ,  赵岩 ,  韦健

IPC: G06K9/62 ,  G06V20/40 ,  G06V40/10 ,  G06V40/20 ,  G06V10/774 ,  G06V10/764

Abstract: 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法属视频行为分析技术领域，本发明先对采集到的儿童诊断视频进行预处理，再用重新训练目标检测算法YOLOv3提取视频中所有人的检测框，裁剪得到子图，使用HRNet人体姿态估计方法对子图进行人体关节点检测，并使用OSNet行人重识别网络提取子图的表观特征进行多目标跟踪，得到儿童左右肩、肘、腕的运动轨迹，再对运动轨迹进行运动速度均值和运动速度标准偏差计算，将得到的特征用随机森林算法进行留一交叉验证，最终对分类结果进行综合判断；本发明对儿童左右肩、肘、腕进行运动轨迹检测，比单一的关节检测信息更加全面，提取有关运动速度的两类特征综合判断，从而提升检测的准确率。

公开(公告)号：CN114358194B

公开(公告)日：2024-11-19

申请号：CN202210014731.6

申请日：2022-01-07

Applicant: 吉林大学

Inventor： 王世刚 ,  宋春颐 ,  赵云秀 ,  赵岩 ,  韦健

IPC: G06V10/774 ,  G06V20/40 ,  G06V40/10 ,  G06V40/20 ,  G06V10/764

Abstract: 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法属视频行为分析技术领域，本发明先对采集到的儿童诊断视频进行预处理，再用重新训练目标检测算法YOLOv3提取视频中所有人的检测框，裁剪得到子图，使用HRNet人体姿态估计方法对子图进行人体关节点检测，并使用OSNet行人重识别网络提取子图的表观特征进行多目标跟踪，得到儿童左右肩、肘、腕的运动轨迹，再对运动轨迹进行运动速度均值和运动速度标准偏差计算，将得到的特征用随机森林算法进行留一交叉验证，最终对分类结果进行综合判断；本发明对儿童左右肩、肘、腕进行运动轨迹检测，比单一的关节检测信息更加全面，提取有关运动速度的两类特征综合判断，从而提升检测的准确率。

公开(公告)号：CN112329646A

公开(公告)日：2021-02-05

申请号：CN202011235610.1

申请日：2020-11-06

Applicant: 吉林大学

Inventor： 王世刚 ,  高阳 ,  韦健 ,  赵云秀 ,  赵岩

IPC: G06K9/00 ,  G06T7/66 ,  G06T7/90 ,  G06F3/01

Abstract: 一种基于手的质心坐标的手势运动方向识别方法属动态手势识别领域，本发明通过Matlab编程软件与摄像头来获取手部图像、视频帧并实时处理，对得到的视频图像进行预处理，将基于彩色空间的RGB模型转换为YCbCr模型，再利用积分投影法对二值图像分别进行水平和垂直方向的积分投影，得到水平和垂直方向的积分投影直方图后，就可判断出目标物体在整幅图像中的位置，方便求得手部的质心坐标，通过得到的一段时间间隔内的两帧图像中手的不同坐标，进行计算差值与方向角的计算，完成对手的运动方向的判别。本发明增加了对手势运动范围的判定，在对质点的求取以及方位角的判断上更加直观精确，能更加快速准确地识别判断出手势的运动方向。

公开(公告)号：CN117789286A

公开(公告)日：2024-03-29

申请号：CN202311384368.8

申请日：2023-10-25

Applicant: 吉林大学

Inventor： 王世刚 ,  赵云秀 ,  贾飞勇 ,  李洪华 ,  韦健 ,  赵岩

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/096

Abstract: 一种自适应儿童孤独症行为的识别方法，属行为识别技术领域，本发明先对采集到的儿童诊断视频进行预处理，构建ASD行为识别数据集，训练YOLOv5获得视频中所有人员身份及位置的检测框；在VideoMAEV2模型的基础上，通过自适应微调方法AdaptFormer模块，实现高效的迁移学习，冻结VideoMAEV2模型参数，额外引入少量模型参数，对ASD行为数据进行训练获得适应的模型参数。本发明在ASD行为研究中引入先进网络模型，能提高识别精度，并减少模型训练成本，对ASD行为识别任务有很好的启示作用。