-
公开(公告)号:CN109447162A
公开(公告)日:2019-03-08
申请号:CN201811294526.X
申请日:2018-11-01
Applicant: 山东大学
Abstract: 本发明涉及一种基于Lora和Capsule的实时行为识别系统及其工作方法,该系统包括行为信息物理层、行为信息接入层、行为信息平台层、行为信息应用层。本发明将行为信息接入层的传输采用Lora节点、Lora基站,实现远距离、低功耗的行为信息传输;对行为信息不确定性进行了不一致和不完备性方面的处理,提高行为信息的可信度;采用Capsule自动获取有用特征以及特征之间的空间关系来进行行为识别,在精度方面有了很大的提升。
-
公开(公告)号:CN111027487B
公开(公告)日:2023-04-28
申请号:CN201911266356.9
申请日:2019-12-11
Applicant: 山东大学
IPC: G06V40/70 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本公开提供了一种基于多卷积核残差网络的行为识别系统、方法、介质及设备,通过采集用户的运动生理数据或环境状态数据,并对采集的数据依次进行传输、预处理和标注,得到训练集和测试集;构建基于多卷积核残差网络的行为识别模型,根据训练集的预测误差将训练样本分类并对每一类进行自适应分配权重,计算整体损失函数,以及其对模型各个参数的偏导数,迭代更新模型参数,得到训练后的识别模型,利用测试集进行测试,保存测试达标的模型参数,生成最终的深度学习模型;将需要识别的数据输入深度学习模型,得到用户行为识别结果;本公开能够有效利用多尺度下的数据特征。
-
公开(公告)号:CN110991381B
公开(公告)日:2023-04-25
申请号:CN201911272431.2
申请日:2019-12-12
Applicant: 山东大学
IPC: G06V40/16 , G06V10/50 , G06V10/46 , G06V10/764 , G10L15/26
Abstract: 本发明涉及一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法,多模态数据智能识别模块对学生原始图像和语音数据进行分类识别;课堂上下文知识库模块提供判断依据及分析的具体算法指导;学生课堂状态判断模块判断学生的课堂状态;学生课堂状态调整模块用于教师或学生根据学生状态的显示进行调整;多模态数据分析模块分析学生课堂行为表现和师生语音互动的表现;课堂状态报告输出模块输出课堂状态报告。本发明解决了当前高效课堂中学生上课不专心、课堂学习效果差等问题,对教师课堂教学的改进具有较大的参考价值。
-
公开(公告)号:CN111062427A
公开(公告)日:2020-04-24
申请号:CN201911266320.0
申请日:2019-12-11
Applicant: 山东大学
Abstract: 本发明提供了基于多准则决策多模态情景信息不确定性处理方法及系统。其中,该方法包括接收多源情景信息,基于概念格对多源情景信息进行建模;根据情景信息知识库预设的阈值信息来检测建模后多源情景信息的不确定性,得到符合预设要求的多源情景信息;基于多模态控制的实时策略对情景建模信息中关于情景信息类别的属性判断情景信息是同类还是非同类,然后根据情景信息的类型对不确定性处理方式进行选择;实时动态监测同类情景信息的处理结果,并基于QoE的反馈修正机制对同类情景信息的处理结果的用户满意程度进行用户评估,通过这种实时反馈机制不断获得不确定性处理的反馈信息,进而使用反馈信息对情景信息知识库中的阈值信息、专家经验和权重参数进行实时闭环调整。
-
公开(公告)号:CN109597485A
公开(公告)日:2019-04-09
申请号:CN201811472842.1
申请日:2018-12-04
Applicant: 山东大学
Abstract: 本发明涉及一种基于双指角域特征的手势交互系统及其工作方法,包括数据采集模块、特征提取模块、手势识别模块、虚拟交互模块。数据采集模块:Leap motion初始化并使用Leap motion采集手势信息;特征提取模块:三维坐标预处理和手势特征提取;手势识别模块:将提取好的双指角域特征输入到SVM-KNN分类算法中进行手势分类;虚拟交互模块:将Leap motion与Unity3D连接,实现分类后的不同手势对健身房场景内器械的不同交互控制。本发明提高了用户体验度,增强了用户沉浸感。
-
公开(公告)号:CN111027865B
公开(公告)日:2024-04-02
申请号:CN201911272447.3
申请日:2019-12-12
Applicant: 山东大学
IPC: G06Q10/0639 , G06Q50/20 , G06V40/16 , G06V40/10
Abstract: 本发明涉及一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法,包括依次连接的图像数据采集模块、数据智能识别模块、课堂教学指标分析模块、教学综合分析与质量评估模块和教学分析报告输出模块。本发明以课堂为载体,依托教室摄像监控系统,聚焦行为和表情的数据采集、分类识别、量化分析与教学深度融合,通过分析课堂学生和教师行为、表情的各项指标数据,输出可视化的分析结果,最后结合教学期望实现科学、全面的教学综合分析和质量评估。该课堂教学分析与质量评估系统通过可视化的数据分析全面呈现了课堂教学的全貌,解决了当前高效课堂中学生上课不专一、教学成效不高的问题,对教学考评机构和教师教学改进具有较大的实用价值。
-
公开(公告)号:CN109597485B
公开(公告)日:2021-05-07
申请号:CN201811472842.1
申请日:2018-12-04
Applicant: 山东大学
Abstract: 本发明涉及一种基于双指角域特征的手势交互系统及其工作方法,包括数据采集模块、特征提取模块、手势识别模块、虚拟交互模块。数据采集模块:Leap motion初始化并使用Leap motion采集手势信息;特征提取模块:三维坐标预处理和手势特征提取;手势识别模块:将提取好的双指角域特征输入到SVM‑KNN分类算法中进行手势分类;虚拟交互模块:将Leap motion与Unity3D连接,实现分类后的不同手势对健身房场景内器械的不同交互控制。本发明提高了用户体验度,增强了用户沉浸感。
-
公开(公告)号:CN111027865A
公开(公告)日:2020-04-17
申请号:CN201911272447.3
申请日:2019-12-12
Applicant: 山东大学
Abstract: 本发明涉及一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法,包括依次连接的图像数据采集模块、数据智能识别模块、课堂教学指标分析模块、教学综合分析与质量评估模块和教学分析报告输出模块。本发明以课堂为载体,依托教室摄像监控系统,聚焦行为和表情的数据采集、分类识别、量化分析与教学深度融合,通过分析课堂学生和教师行为、表情的各项指标数据,输出可视化的分析结果,最后结合教学期望实现科学、全面的教学综合分析和质量评估。该课堂教学分析与质量评估系统通过可视化的数据分析全面呈现了课堂教学的全貌,解决了当前高效课堂中学生上课不专一、教学成效不高的问题,对教学考评机构和教师教学改进具有较大的实用价值。
-
公开(公告)号:CN110929687A
公开(公告)日:2020-03-27
申请号:CN201911257342.0
申请日:2019-12-10
Applicant: 山东大学
Abstract: 本发明公开了一种基于关键点检测的多人行为识别系统及工作方法,包括:图像预处理模块,被配置为对采集到的图像进行预处理;关键点检测模块,被配置为提取每帧图像的关键点特征;通过人体关键点预测矩阵,判断图像中包含人体的个数以及每个人包含的关节点数;检测两相邻关节点是否在同一肢体上,对同一个人任意相邻的两个关节点间进行连接获取方向向量,依次连接同一肢体上的关节点,得到关节点向量矩阵;姿态估计模块,被配置为用于根据关节点向量矩阵进行姿态判断。本发明通过对输入原始图像中的多人行为信息进行分析处理,实现对多人的姿态估计和当前行为的分类识别,弥补了现有的单人行为识别方法对实际场景中多人的行为无法检测的缺陷。
-
公开(公告)号:CN109447162B
公开(公告)日:2021-09-24
申请号:CN201811294526.X
申请日:2018-11-01
Applicant: 山东大学
Abstract: 本发明涉及一种基于Lora和Capsule的实时行为识别系统及其工作方法,该系统包括行为信息物理层、行为信息接入层、行为信息平台层、行为信息应用层。本发明将行为信息接入层的传输采用Lora节点、Lora基站,实现远距离、低功耗的行为信息传输;对行为信息不确定性进行了不一致和不完备性方面的处理,提高行为信息的可信度;采用Capsule自动获取有用特征以及特征之间的空间关系来进行行为识别,在精度方面有了很大的提升。
-
-
-
-
-
-
-
-
-