-
公开(公告)号:CN110826495A
公开(公告)日:2020-02-21
申请号:CN201911082183.5
申请日:2019-11-07
Applicant: 济南大学
Abstract: 本公开公开了基于面部朝向的身体左右肢体一致性跟踪判别方法及系统,获取待跟踪视频,将待跟踪视频输入到部件检测器中,输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度;根据置信度选出面部区域,估计被跟踪目标的面部朝向;根据面部朝向判断人体的面向位置;根据面部朝向,对被跟踪目标每个肢体部件的所有识别结果,按不同的优先级顺序进行选取,获得各肢体的候选集;最后,对候选集利用图结构模型PS进行推断以获得肢体最终姿态。
-
公开(公告)号:CN110196642A
公开(公告)日:2019-09-03
申请号:CN201910543153.3
申请日:2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种基于意图理解模型的导航式虚拟显微镜,包括多模态输入与感知模块、多模态信息整合模块和交互应用模块;多模态输入与感知模块用于通过传声器获得用户的语音信息,以及获得用户的操作行为;多模态信息整合模块用于将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理,然后将处理后的语音信息和操作行为通过多通道信息整合,完成显微镜和用户之间的交互。本发明通过多模态信息获取和整合,利用简单的传感元件,加入了多种模态的信号输入和智能化感应技术,在保证数字显微镜优点的基础上,让广大普通和贫困中学学生也能有条件进行显微镜的学习,增加对微观世界的认知感受,和体验智能显微镜。
-
公开(公告)号:CN110175607A
公开(公告)日:2019-08-27
申请号:CN201910362144.4
申请日:2019-04-30
Applicant: 济南大学
IPC: G06K9/22 , G06K9/24 , G06F3/0354 , G09B17/02
Abstract: 本发明提供了一种激光笔套件及其画图跟踪实现方法,本发明利用Kinect设备与AR交互算法以及激光笔按钮相结合,只需要在Kinect设备前做动作即可实现远程任意画直线或曲线的操作,另外还可进行选择、旋转以及平移操作,当选择物体时,激光笔会发出激光,从而获知选择哪个物体,实现以简单的方式来进行数学图形的绘制,方便远程教学。在画图追踪算法上,将基于颜色特征的检测、五帧差分算法与混合高斯模型进行结合。将三个检测出的结果进行逻辑“与”运算,再通过连通性检测得到完整的运动目标。从而有效地克服光照变化噪声干扰、空洞的现象,具有鲁棒性和准确性。
-
公开(公告)号:CN118314410A
公开(公告)日:2024-07-09
申请号:CN202410741325.9
申请日:2024-06-11
Applicant: 济南大学
IPC: G06V10/764 , G06T17/00 , G06N3/0464 , G06N3/08
Abstract: 本申请公开了一种基于特征注意力的旋转鲁棒三维模型分类方法,涉及三维模型分类技术领域,渲染三维模型的灰度图获得所述三维模型的多角度视图集;设计分类网络对多角度视图集进行训练获得特征集合;将特征集合输入到特征注意力模块后,对所有特征进行注意力操作,使每个注意力获得一个权重从而获得三维模型的高级特征;设计高级特征分类网络,对高级特征分类网络进行训练获得高级特征的分类器,用于三维模型的分类。使用了特征注意力来对每个特征进行差异化处理,使后续网络能够处理到已经具备一定旋转鲁棒特性的视图特征集合,双层池化平衡信息丰富性和缓解过拟合,在保持对齐设置下的三维模型分类性能的同时,提高旋转设置下三维模型分类性能。
-
公开(公告)号:CN112099630B
公开(公告)日:2024-04-05
申请号:CN202010958262.4
申请日:2020-09-11
Applicant: 济南大学
Abstract: 本发明公开一种多模态意图逆向主动融合的人机交互方法,包括:获取环境数据、用户的手势数据以及用户的语音数据;对所述环境数据进行场景感知获取环境信息,对所述手势数据进行手势信息提取获取手势意图,对所述语音数据进行语音信息提取获取语音意图;进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图;对所述融合意图进行信任度评价获取目标融合意图;按所述目标融合意图进行交互反馈。本发明融合意图结合环境时刻、手势数据、语音数据多模态提取而获得,使得意图识别更加准确;能够避免老年人因健忘而重复某一意图;通过主动问询的方式确认发生概率较低的融合意图是否用户本意,获取反映用户本意的目标融合意图。
-
公开(公告)号:CN110175607B
公开(公告)日:2023-01-24
申请号:CN201910362144.4
申请日:2019-04-30
Applicant: 济南大学
IPC: G06V30/142 , G06F3/0354 , G09B17/02
Abstract: 本发明提供了一种激光笔套件及其画图跟踪实现方法,本发明利用Kinect设备与AR交互算法以及激光笔按钮相结合,只需要在Kinect设备前做动作即可实现远程任意画直线或曲线的操作,另外还可进行选择、旋转以及平移操作,当选择物体时,激光笔会发出激光,从而获知选择哪个物体,实现以简单的方式来进行数学图形的绘制,方便远程教学。在画图追踪算法上,将基于颜色特征的检测、五帧差分算法与混合高斯模型进行结合。将三个检测出的结果进行逻辑“与”运算,再通过连通性检测得到完整的运动目标。从而有效地克服光照变化噪声干扰、空洞的现象,具有鲁棒性和准确性。
-
公开(公告)号:CN112101219B
公开(公告)日:2022-11-04
申请号:CN202010970662.7
申请日:2020-09-15
Applicant: 济南大学
IPC: G06V40/20 , G06V10/26 , G06V10/764 , G06V10/84 , G06V10/82 , G06N3/04 , G06N3/08 , G10L15/08 , G10L15/22
Abstract: 本发明提出了一种面向老年陪护机器人的意图理解方法和系统,该方法包括:实时获取老年人的手势图像和姿态信息,对手势图像和姿态信息均进行图像分割分别形成手势数据集和姿态数据集;将手势数据集输入训练好的神经网络模型进行手势识别得到手势识别概率集、将姿态数据集输入训练好的隐马尔可夫模型进行姿态识别得到姿态识别概率集;基于混淆矩阵的融合算法将手势识别概率集和姿态识别概率集进行意图融合,在不同意图分类下,采用F1分数计算两个概率集融合时不同意图下的权重占比;进而确定出最终识别意图。基于该方法,还提出了意图理解系统。本发明提高了老年陪护机器人系统的意图理解率,以及老年人对于社交陪护机器人的使用满足感。
-
公开(公告)号:CN114821187A
公开(公告)日:2022-07-29
申请号:CN202210545591.5
申请日:2022-05-19
Applicant: 济南大学
IPC: G06V10/764 , G06V10/82 , G06V10/40 , G06V10/771 , G06K9/62 , G06T7/00 , G06T7/73 , G06T3/40 , G06T5/00 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于判别学习的图像异常检测和定位方法,所述方法的实现包括内容如下:通过基于外部数据集训练的网络,对原始图像进行特征提取;采用梯度偏好的方法进行特征选择;将得到的特征送入带有中心约束的判别网络中进行异常检测。本发明通过能够在不需要异常数据的情况下,准确检测并定位到图像中存在的异常。在解决图像异常检测和定位上表现出强大的性能和理论优势。极大的提高了检测效率和准确性。
-
公开(公告)号:CN112906617A
公开(公告)日:2021-06-04
申请号:CN202110251693.1
申请日:2021-03-08
Applicant: 济南大学
Abstract: 本公开公开的一种基于手部检测的驾驶员异常行为识别方法与系统,包括:获取待识别的驾驶员手势图像;将待识别的驾驶员手势图像输入训练好的手势检测模型中,获取驾驶员手势识别结果;其中,手势检测模型以CenterNet算法为基础,在CenterNet主干特征提取模块的每个Block中添加通道注意力模块。实现了对驾驶员手势的准确识别。
-
公开(公告)号:CN112149574A
公开(公告)日:2020-12-29
申请号:CN202011014566.1
申请日:2020-09-24
Applicant: 济南大学
Abstract: 本发明为了解决现有技术中存在的技术问题,创新提出了一种面向陪护机器人的意图柔性映射方法,通过目标物体检测的方式感知交互情境,利用基于视觉的手势识别技术来进行人机交互,利用用户在使用同一种手势表达不同语义时,由于对不同事物的认知不同而形成的特征差异作为柔性映射的基础,实现了同一交互情境下一种手势到多种语义的映射,摆脱了传统的一种指令对应一种操作的人机交互模式,这样只需要规定少量的手势即可以完成多个功能,本发明还提出了一种面向陪护机器人的意图柔性映射装置,降低了老年人的认知负担,使得对陪护机器人的使用更加的简易、灵活。
-
-
-
-
-
-
-
-
-