一种动态手势识别方法及系统

    公开(公告)号:CN110308795A

    公开(公告)日:2019-10-08

    申请号:CN201910604878.9

    申请日:2019-07-05

    Applicant: 济南大学

    Abstract: 本发明公开了一种动态手势识别方法及系统,该方法包括以下步骤:获取手部运动数据,包括三轴加速度和角速度数据;对手部运动数据进行处理,截取有效的手势动作数据;对手势动作数据进行特征提取,得到特征值,包括手势动作的长度、加速度的平均值、角速度的平均值以及加速度的极值点;获取待测手势动作数据,基于BP神经网络算法与K-means算法对待测手势动作数据进行动态手势识别。

    一种基于深度引导扩展块匹配的三维视频帧率提升方法

    公开(公告)号:CN105933714B

    公开(公告)日:2017-06-09

    申请号:CN201610247833.7

    申请日:2016-04-20

    Applicant: 济南大学

    Abstract: 本发明公开了一种基于深度引导扩展块匹配的三维视频帧率提升方法,包括:对视频帧进行基于图像块的双向运动估计,利用估计得到的运动向量进行补偿得到初始深度插入帧根据初始深度插入帧,计算插入帧中每个深度图像块的二维结构张量,根据二维结构张量将图像块分成边缘图像块和非边缘图像块;将边缘图像块分成子块,利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量;以图像块为单位,对非边缘图像块和边缘图像子块进行适应性运动补偿,实现插入帧的重建。本发明有效的解决了三维视频帧率提升中插入帧前景物体边缘模糊的问题。

    基于超像素的深度图像预处理和深度空洞填充方法

    公开(公告)号:CN106341676A

    公开(公告)日:2017-01-18

    申请号:CN201610865067.0

    申请日:2016-09-29

    Applicant: 济南大学

    CPC classification number: H04N13/128 H04N13/161 H04N19/597

    Abstract: 本发明公开了基于超像素的深度图像预处理和深度空洞填充方法,包括以下步骤:步骤一:待处理的深度图像的超像素分割:对于该待处理的深度图像对应的彩色图像进行超像素分割,然后利用彩色图像的分割结果对该待处理的深度图像进行分割;步骤二:基于超像素的深度图像预处理;步骤三:虚拟视点深度图像超像素分割:利用待处理的深度图像对应的彩色图像和预处理后的深度图像进行三维变换,生成虚拟视点初始彩色图像和虚拟视点初始深度图像,对虚拟视点初始深度图像进行超像素分割;步骤四:虚拟视点深度图像填充。本发明采用基于超像素的深度图像预处理和基于超像素的深度空洞处理,空洞填充准确性较高,计算量较小,有利于视点合成的实时实现。

    一种基于分组卷积注意力网络的多尺度检测优化方法

    公开(公告)号:CN119068355A

    公开(公告)日:2024-12-03

    申请号:CN202411269948.7

    申请日:2024-09-11

    Applicant: 济南大学

    Abstract: 本申请公开了一种基于分组卷积注意力网络的多尺度检测优化方法及系统。其实现方法的实现步骤为:构造分组卷积注意力网络模块;将分组卷积注意力网络模块引入到一般的基于卷积神经网络的物体检测模型中;划分物体检测数据集;对数据集中的图像进行预测处理;使用训练数据用物体检测模型和分组卷积注意力网络模块进行协同训练;将验证数据送入到检测模型进行检测;得到检测结果;本发明利用构建的分组卷积注意力网络模块和一般的基于深度卷积神经网络的物体检测模型进行协同训练,用来增强检测模型的特征提取网络来用于多尺度物体检测,在不增加计算代价的同时提高了物体检测精度。

    一种多模态意图逆向主动融合的人机交互方法

    公开(公告)号:CN112099630B

    公开(公告)日:2024-04-05

    申请号:CN202010958262.4

    申请日:2020-09-11

    Applicant: 济南大学

    Abstract: 本发明公开一种多模态意图逆向主动融合的人机交互方法,包括:获取环境数据、用户的手势数据以及用户的语音数据;对所述环境数据进行场景感知获取环境信息,对所述手势数据进行手势信息提取获取手势意图,对所述语音数据进行语音信息提取获取语音意图;进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图;对所述融合意图进行信任度评价获取目标融合意图;按所述目标融合意图进行交互反馈。本发明融合意图结合环境时刻、手势数据、语音数据多模态提取而获得,使得意图识别更加准确;能够避免老年人因健忘而重复某一意图;通过主动问询的方式确认发生概率较低的融合意图是否用户本意,获取反映用户本意的目标融合意图。

    基于多尺度特征的遥感图像小目标检测方法及系统

    公开(公告)号:CN115984712A

    公开(公告)日:2023-04-18

    申请号:CN202310011631.2

    申请日:2023-01-05

    Applicant: 济南大学

    Abstract: 本发明公开了基于多尺度特征的遥感图像小目标检测方法及系统;获取待检测的遥感图像;对待检测的遥感图像进行去雾处理和亮度增强处理;将亮度增强处理后的图像,输入到训练后的遥感图像小目标检测模型中,得到遥感图像的小目标检测结果;训练后的遥感图像小目标检测模型,其工作原理包括:对亮度增强处理后的遥感图像进行多尺度特征提取;对提取的多尺度特征进行特征融合和特征增强,得到特征图;对特征图中不同尺寸的感兴趣区域进行尺寸固定,得到目标的建议候选框;将提取出来的建议候选框经过非极大值抑制后,得到目标的预测边界框坐标,绘制目标所在区域的最小外接矩形,将最小外接矩形作为目标预测边界框,得到遥感图像目标的检测结果。

    一种激光笔套件及其画图跟踪实现方法

    公开(公告)号:CN110175607B

    公开(公告)日:2023-01-24

    申请号:CN201910362144.4

    申请日:2019-04-30

    Applicant: 济南大学

    Abstract: 本发明提供了一种激光笔套件及其画图跟踪实现方法,本发明利用Kinect设备与AR交互算法以及激光笔按钮相结合,只需要在Kinect设备前做动作即可实现远程任意画直线或曲线的操作,另外还可进行选择、旋转以及平移操作,当选择物体时,激光笔会发出激光,从而获知选择哪个物体,实现以简单的方式来进行数学图形的绘制,方便远程教学。在画图追踪算法上,将基于颜色特征的检测、五帧差分算法与混合高斯模型进行结合。将三个检测出的结果进行逻辑“与”运算,再通过连通性检测得到完整的运动目标。从而有效地克服光照变化噪声干扰、空洞的现象,具有鲁棒性和准确性。

    一种面向老年陪护机器人的意图理解方法和系统

    公开(公告)号:CN112101219B

    公开(公告)日:2022-11-04

    申请号:CN202010970662.7

    申请日:2020-09-15

    Applicant: 济南大学

    Abstract: 本发明提出了一种面向老年陪护机器人的意图理解方法和系统,该方法包括:实时获取老年人的手势图像和姿态信息,对手势图像和姿态信息均进行图像分割分别形成手势数据集和姿态数据集;将手势数据集输入训练好的神经网络模型进行手势识别得到手势识别概率集、将姿态数据集输入训练好的隐马尔可夫模型进行姿态识别得到姿态识别概率集;基于混淆矩阵的融合算法将手势识别概率集和姿态识别概率集进行意图融合,在不同意图分类下,采用F1分数计算两个概率集融合时不同意图下的权重占比;进而确定出最终识别意图。基于该方法,还提出了意图理解系统。本发明提高了老年陪护机器人系统的意图理解率,以及老年人对于社交陪护机器人的使用满足感。

    一种多模态融合实验系统及其使用方法

    公开(公告)号:CN110286764B

    公开(公告)日:2022-11-04

    申请号:CN201910544618.7

    申请日:2019-06-21

    Applicant: 济南大学

    Abstract: 本发明公开了一种多模态融合实验系统,包括实验仪器、输入模块、多模态意图融合模块、输出模块和报警模块;所述输入模块包括设置在实验仪器上的触觉感知模块、听觉感知模块和视觉感知模块,用于获取用户的触觉、语音、视觉信息;所述多模态意图融合模块用于融合用户的触觉、语音、视觉信息,通过查询数据库和知识库分析用户意图,建立行为节点,判断用户行为是否正确规范;所述报警模块用于提示用户操作错误;所述输出模块用于输出显示用户行为对应的实验操作效果。还公开了上述系统的使用方法,通过多模态信息的融合进行用户意图的分析和感知,解决了单一模态无法完整理解用户意图的问题,达到与用户进行互动的效果。

    一种多模态意图融合方法及应用

    公开(公告)号:CN110288016B

    公开(公告)日:2021-09-28

    申请号:CN201910544626.1

    申请日:2019-06-21

    Applicant: 济南大学

    Abstract: 本发明公开了一种多模态意图融合方法,通过传感器获取用户的声音信息和视觉信息;利用意图感知算法将获取的声音信息转化为若干语音意图,将视觉信息转化为操作意图;通过语音意图竞争确定用户真实语音意图;将操作意图作用于样本图像,并在屏幕上呈现操作结果;判断用户真实操作意图;构建系统反馈规则库,根据用户的真实操作意图和真实语音意图,查询并输出相应的系统反馈,指导用户操作。本发明还公开了一种虚拟显微镜,利用上述多模态意图融合方法,包括输入模块、控制模块和输出模块,使设备能够感知用户的真正意图,给出相应的反馈指导,有效的减少了用户误操作次数,方便用户更好的完成显微镜操作实验。

Patent Agency Ranking