-
公开(公告)号:CN115546503A
公开(公告)日:2022-12-30
申请号:CN202211285533.X
申请日:2022-10-20
Applicant: 济南大学
IPC: G06V10/42 , G06V10/26 , G06V10/764 , G06V10/82 , G06V10/774 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于深度注意力的自适应多尺度视觉特征表达方法及系统,包括:获取原始神经网络模型作为SDA网络模块的主干分支,用于分层特征的提取;设计SDA网络模块的轻量化深度注意力分支,用于动态加权分层特征;堆叠多个SDA网络模块构成神经网络,即为基于深度注意力的自适应多尺度视觉特征表达的神经网络方法;对自适应多尺度特征表达神经网络SDA‑Net进行参数优化,所得到的神经网络模型可用于图像分类、目标检测和语义分割等视觉任务的主干。
-
公开(公告)号:CN110286765B
公开(公告)日:2022-11-04
申请号:CN201910544619.1
申请日:2019-06-21
Applicant: 济南大学
Abstract: 本发明公开了一种智能实验容器及其使用方法,所述智能实验容器包括容器本体和控制模块,所述容器本体包括杯体,所述杯体外壁设置触摸传感器,所述杯体内侧设置摄像头、光源和流体物,所述摄像头和光源设置在杯体顶部,流体物设置在杯体底部;所述控制模块包括视觉模块、听觉模块、触觉模块和信息融合模块。通过信息融合模块处理获取的视觉、听觉或触觉信息,构建并执行完整的用户行为。本发明通过信息互补和信息独立两种融合策略,更加准确理解用户意图,实现自然的人机交互,可以及时纠正用户的错误操作,并通过语音合成模块引导其进行正确的实验操作。
-
公开(公告)号:CN110033090B
公开(公告)日:2022-11-04
申请号:CN201910267965.X
申请日:2019-04-03
Applicant: 济南大学
IPC: G06N3/12
Abstract: 本发明提出了一种用于DNA实验的交互套件及其使用方法,该套件包括带有标签的碱基模型、氢键模型、带有电信号传感的DNA单链模型、带有标签的DNA解旋酶模型和DNA聚合酶模型,标签被摄像设备获取,同时被AR系统检测到。ARM处理器用于接收DNA单链模型完成复制后发出的电信号,并根据电信号转换成逻辑信号发送给智能终端,同时在AR系统实时显示。本发明还给出一种用于DNA实验的套件的使用方法。通过本发明加强了在DNA实验过程中以DNA单链为模板的复制过程、解旋、聚合过程以及碱基配对的理解,在用特定的实物模拟DNA复制的过程,并结合AR系统,生动展示DNA从解旋、互补配对到整体连接这个流程。
-
公开(公告)号:CN109993135B
公开(公告)日:2022-11-04
申请号:CN201910274142.X
申请日:2019-03-29
Applicant: 济南大学
Abstract: 本申请公开了一种基于增强现实的手势识别方法、系统及装置,该方法包括:获取人手的手势深度图和手势深度信息,将手势深度图分为训练集和测试集,将训练集和测试集中的手势深度图剪切为大小相等的n个单元,利用DTW算法对两个集合中的动态视频帧进行优化,建立一双结构网络识别模型,然后将测试集输入至该识别模型中进行测试,获取手势识别结果;在增强现实环境中,根据手势深度信息和该识别模型,对手势进行识别。该系统包括:信息获取模块、集合分类模块、剪切模块、优化模块、识别模型建立模块、测试模块和识别模块。该装置包括处理器以及与其通信连接的存储器。通过本申请,能够有效提高手势识别的实时性和手势识别率,从而提高用户体验。
-
公开(公告)号:CN109543644B
公开(公告)日:2022-10-04
申请号:CN201811455224.6
申请日:2018-11-30
Applicant: 济南大学
IPC: G06V40/20
Abstract: 本发明提供了一种多模态手势的识别方法,属于手势识别领域。该多模态手势的识别方法利用数据手套和Kinect采集手势的数据,然后对采集到的数据进行预处理得到手势的曲线,最后利用手势的曲线特征进行手势识别。本发明方法利用每一段曲线对整条曲线的贡献程度即其波动程度的大小,给予其分配不同的权重,有效提高了易混淆的相似手势或不规范手势的识别正确率,同时在鲁棒性和适用性方面较传统的距离方法有了重大提高。
-
公开(公告)号:CN110348417B
公开(公告)日:2022-09-30
申请号:CN201910646658.2
申请日:2019-07-17
Applicant: 济南大学
IPC: G06V40/20 , G06V40/10 , G06V10/764
Abstract: 本申请公开了一种深度手势识别算法的优化方法,涉及人机交互技术领域,所述方法包括:建立统一的数据集存放结构和统一的数据集文件;根据配置文件将数据集样本以载入到内存中;将载入的数据集样本交给完整统一的训练模块;优化神经网络结构;根据配置信息来配置训练过程中各种可调参数和训练模块的行为并开始训练;训练结束后依据配置文件进行模型的保存和实验中数据的保存;将训练过程产生的数据加载到画图模块进行训练过程相关曲线的绘制。建立统一的数据集存放结构和统一的数据集文件,能在不同的项目间迁移,对多种传统网络的网络参数设置与优化,将传统网络结合实际使用情况加以优化和改进,增加训练速度,优化训练结果,减小模型体积。
-
公开(公告)号:CN112651326B
公开(公告)日:2022-09-27
申请号:CN202011530576.0
申请日:2020-12-22
Applicant: 济南大学
IPC: G06V20/59 , G06V40/10 , G06V10/774
Abstract: 本发明公开一种基于深度学习的驾驶员手部检测方法及系统,包括:获取手部标注图像;在深度学习网络模型的主干网络中每个特征层上添加注意力机制,在注意力机制后连接由空间金字塔池化层和金字塔注意力网络组成的残差单元;对手部标注图像依次经主干网络和残差单元进行自下而上和自上而下的特征提取,根据得到的特征图对深度学习网络模型进行训练;对待测手部图像根据训练后的深度学习网络模型得到驾驶员手部的位置。通过将注意力机制模块添加到YOLOv4中主干网络CSPDarknet53中,优化深度学习网络,降低复杂驾驶环境中光照、遮挡与自遮挡等对驾驶员手部检测的影响,提高驾驶员手部检测的准确性。
-
公开(公告)号:CN110222645B
公开(公告)日:2022-09-27
申请号:CN201910496416.X
申请日:2019-06-10
Applicant: 济南大学
IPC: G06V40/20 , G06V40/10 , G06V10/764
Abstract: 本发明提供一种手势误识特征矩阵特征发现方法,假设被卷积神经网络识别正确的m张食指手势图片构成集合A,被卷积神经网络识别错误的n张食指手势图片构成集合B,利用Python接口提取第7层全连接层的特征值,并保存到矩阵V,输入任意两张图i和j,其中i∈A,j∈B,计算误识特征矩阵Qi的步骤如下:a.分别提取i,j在第7层全连接层特征值,并保存到矩阵V中;b.分别计算i,j输入到Softmax函数的Zi,Zj上的值;c.对数据从小到大排列,并曲线描述Zi,Zj的变化趋势,找出变化剧烈的特征以及对应原来的维数,并将维数构成集合C;d.从C1开始遍历,一直到C4096结束循环,统计每一维的频数以及频率;e.频率大于90%维保存到矩阵Q;f.结束。本发明能够有效提取误识特征矩阵。
-
公开(公告)号:CN114842948B
公开(公告)日:2022-09-23
申请号:CN202210776224.6
申请日:2022-07-04
Applicant: 济南大学
Abstract: 本发明公开了一种在线学习按摩定位算法,涉及人工智能技术领域,包括以下步骤:(1)根据自然指向确定按摩候选区域;(2)利用比例选择法的方式在按摩候选区域通过询问交互确定按摩中心点位置、按摩点二维分布模型及按摩区域;(3)在线学习按摩习惯,根据用户的选择区域,更新相关身体部位的两种概率以减少按摩中心点定位时减少人机的交互次数。本发明的有益效果在于可减少用户的记忆和操作负荷,并且用户可以不拘泥一种姿态,可按照自身意愿移动身体,系统会根据记录的按摩区域点与身体关键点的位置关系实现实时跟踪按摩。
-
公开(公告)号:CN114816077A
公开(公告)日:2022-07-29
申请号:CN202210754057.5
申请日:2022-06-30
Applicant: 济南大学
Abstract: 本发明公开了一种多模态融合的智能手套系统,涉及人工智能技术领域,包括输入层、识别层、融合层和交互层,所述输入层包括视觉通道、传感器通道和语音通道,所述的识别层分别采用基于YOLOv5的视觉通道意图概率获取算法、基于欧氏距离传感器通道意图概率获取算法和基于余弦相似度匹配的语音通道意图概率获取算法来分别获取视觉通道、传感器通道和语音通道的实验意图,所述的融合层采用多模态融合算法来融合用户多通道意图信息。本发明能够更好识别用户意图并进行交互,利用智能手套手腕处的视觉通道对场景信息进行了无遮挡的实时感知,改进了传统TMFA算法串行处理模态信息的不足的问题。
-
-
-
-
-
-
-
-
-