-
公开(公告)号:CN118194099A
公开(公告)日:2024-06-14
申请号:CN202410612617.2
申请日:2024-05-17
Applicant: 浙江大学
IPC: G06F18/24 , G06N3/088 , G06N3/0895 , G06F18/23213 , G06N3/045 , G06N3/0442
Abstract: 本发明公开了一种用于无监督动作检测的方法、系统、介质及设备,属于计算机视觉领域。本发明首先通过无监督的训练方式训练一个可以抽取动作语义的骨架编码器;然后在少量有标签骨架序列上训练线性分类器,利用训练好的骨架编码器和线性分类器即可得到一个优异的动作检测系统。本发明设计了一个迭代训练过程来确保无监督训练的骨架编码器可以获取更准确的语义信息,主要包括两个阶段:1)对比学习:输入骨架序列,正样本通过数据增强生成,负样本来自记忆库;2)语义聚类:对所有骨架序列编码,然后通过聚类来挖掘动作语义信息,输出当前的语义编码本,优化下一轮的对比学习阶段。本发明可以在无需大量标注数据的情况下完成异常行为检测。
-
公开(公告)号:CN118194099B
公开(公告)日:2024-08-13
申请号:CN202410612617.2
申请日:2024-05-17
Applicant: 浙江大学
IPC: G06F18/24 , G06N3/088 , G06N3/0895 , G06F18/23213 , G06N3/045 , G06N3/0442
Abstract: 本发明公开了一种用于无监督动作检测的方法、系统、介质及设备,属于计算机视觉领域。本发明首先通过无监督的训练方式训练一个可以抽取动作语义的骨架编码器;然后在少量有标签骨架序列上训练线性分类器,利用训练好的骨架编码器和线性分类器即可得到一个优异的动作检测系统。本发明设计了一个迭代训练过程来确保无监督训练的骨架编码器可以获取更准确的语义信息,主要包括两个阶段:1)对比学习:输入骨架序列,正样本通过数据增强生成,负样本来自记忆库;2)语义聚类:对所有骨架序列编码,然后通过聚类来挖掘动作语义信息,输出当前的语义编码本,优化下一轮的对比学习阶段。本发明可以在无需大量标注数据的情况下完成异常行为检测。
-
公开(公告)号:CN111528859A
公开(公告)日:2020-08-14
申请号:CN202010401503.5
申请日:2020-05-13
Applicant: 浙江大学人工智能研究所德清研究院
Abstract: 一种基于多模态深度学习技术的儿童ADHD筛查评估系统,包括:量表测试模块,用于通过ADHD诊断心理学量表采集和评估就诊儿童;软硬件协同模块,用于开发测试软件让就诊儿童完成任务,硬件模组用于记录任务测试过程中的眼动注意力、表情和身体姿态三方面信息;智能分析模块,用于运用计算机视觉技术进行眼动注意力、表情、姿态的分析,还对测试者的鼠标移动、点击和键盘输入动作也做了记录和跟踪,与同质化向量融合;多模态信息融合模型,采用时序多模态信息融合模型BERT,对某个特定时间片段中获取的同质化向量结合测试结果进行预训练,最终生成的模型判断患者在本时间段是否存在异常行为的分类结果。本发明效率较高、准确性较好。
-
公开(公告)号:CN118298430A
公开(公告)日:2024-07-05
申请号:CN202410421831.X
申请日:2024-04-09
Applicant: 浙江大学
IPC: G06V20/70 , A61B5/16 , A61B5/11 , A61B5/00 , G06V20/40 , G06V40/70 , G06V40/18 , G06V40/20 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/042 , G06N3/0464 , G06N3/0895 , G06N3/084
Abstract: 本发明公开了一种用于儿童ADHD早筛与辅诊的弱监督异常行为检测系统及设备,包括多模态特征编码与融合模块,用于获取儿童的眼动注意和身体姿态序列,得到多模态融合特征;异常时域候选定位与分类模块,用于通过时域候选定位网络生成异常行为时域候选,利用异常行为分类器进行分类,再得到每个异常行为类别的得分;异常时域伪标签生成与弱监督学习模块,用于获取时序类激活序列,并生成伪标签;正常‑异常时段辅助协同学习模块,用于生成包含正常行为类别的得分序列,利用topk池化进行处理,得到聚合后每类行为类别的预测得分;弱监督异常行为检测推理模块,其利用非极大值抑制方法对经过softmax的时序类激活序列进行筛选,最终得到异常行为检测的结果。
-
公开(公告)号:CN111528859B
公开(公告)日:2023-04-18
申请号:CN202010401503.5
申请日:2020-05-13
Applicant: 浙江大学人工智能研究所德清研究院
IPC: A61B5/11 , A61B5/16 , A61B5/00 , G06V40/70 , G06F18/214 , G06F18/24 , G06N3/0442 , G06N3/0464 , G06N3/084
Abstract: 一种基于多模态深度学习技术的儿童ADHD筛查评估系统,包括:量表测试模块,用于通过ADHD诊断心理学量表采集和评估就诊儿童;软硬件协同模块,用于开发测试软件让就诊儿童完成任务,硬件模组用于记录任务测试过程中的眼动注意力、表情和身体姿态三方面信息;智能分析模块,用于运用计算机视觉技术进行眼动注意力、表情、姿态的分析,还对测试者的鼠标移动、点击和键盘输入动作也做了记录和跟踪,与同质化向量融合;多模态信息融合模型,采用时序多模态信息融合模型BERT,对某个特定时间片段中获取的同质化向量结合测试结果进行预训练,最终生成的模型判断患者在本时间段是否存在异常行为的分类结果。本发明效率较高、准确性较好。
-
-
-
-