一种具有意图理解功能的交互式智能容器

    公开(公告)号:CN110286835A

    公开(公告)日:2019-09-27

    申请号:CN201910548006.5

    申请日:2019-06-21

    Applicant: 济南大学

    Abstract: 本发明提出了一种具有意图理解功能的交互式智能容器,包括感知模块、识别模块、意图融合模块和交互应用模块;感知模块用于获取智能容器的触觉信息以及通过语音输入输出设备获取语音信息。识别模块用于将输入的触觉信息和语音信息表示成是三元组,然后将三元组和数据库信息进行比对得出五元组的输出;意图融合模块采用类比推理的方式,得到用户的准确意图,并纠正教学导航。交互应用模块根据用户的意图呈现不同的实验效果,本发明设计了一种具有意图理解功能的交互式智能容器,以及研究适用于化学实验的多模态融合模型与算法,形成多模态感知的导航式虚实融合智能实验系统。本发明采用触觉信息和语音信息的意图融合,使人机交互更加自然。

    一种手势误识特征发现方法

    公开(公告)号:CN110222645A

    公开(公告)日:2019-09-10

    申请号:CN201910496416.X

    申请日:2019-06-10

    Applicant: 济南大学

    Abstract: 本发明提供一种手势误识特征矩阵特征发现方法,假设被卷积神经网络识别正确的m张食指手势图片构成集合A,被卷积神经网络识别错误的n张食指手势图片构成集合B,利用Python接口提取第7层全连接层的特征值,并保存到矩阵V,输入任意两张图i和j,其中i∈A,j∈B,计算误识特征矩阵Qi的步骤如下:a.分别提取i,j在第7层全连接层特征值,并保存到矩阵V中;b.分别计算i,j输入到Softmax函数的Zi,Zj上的值;c.对数据从小到大排列,并曲线描述Zi,Zj的变化趋势,找出变化剧烈的特征以及对应原来的维数,并将维数构成集合C;d.从C1开始遍历,一直到C4096结束循环,统计每一维的频数以及频率;e.频率大于90%维保存到矩阵Q;f.结束。本发明能够有效提取误识特征矩阵。

    基于虚实融合实验的搅拌棒套件及其使用方法

    公开(公告)号:CN109999708A

    公开(公告)日:2019-07-12

    申请号:CN201910248740.X

    申请日:2019-03-29

    Applicant: 济南大学

    Inventor: 冯志全 韩睿

    Abstract: 本发明实施例公开了基于虚实融合实验的搅拌棒套件及其使用方法,搅拌棒套件包括搅拌棒和设置在搅拌棒内的搅动传感器,所述搅动传感器用于获取搅拌棒的运动状态,并将运动状态转化为电信号,发送给控制终端。方法包括根据搅动传感器内磁场的方向和实验操作规范,确定感应电动势的正方向;用所述搅拌棒搅拌液体,测量模块获取导体棒产生的感应电动势,并将该感应电动势传输至控制终端;根据感应电动势和确定的正方向,控制终端得到搅拌方向和搅拌速度;判断所述搅拌方向和搅拌速度是否均符合操作规范,并在不符合操作规范时,给出提示。通过本发明实施例的搅拌棒套件,在AR化学实验中,感知搅拌操作过程,实现AR实验中的人机交互。

    一种增强现实环境下的手势纠错方法、系统及装置

    公开(公告)号:CN109993108A

    公开(公告)日:2019-07-09

    申请号:CN201910248541.9

    申请日:2019-03-29

    Applicant: 济南大学

    Inventor: 冯志全 肖梦婷

    Abstract: 本申请公开了一种增强现实环境下的手势纠错方法、系统及装置,该方法首先获取人手的第一手势深度图和手势深度信息,然后利用手势识别模型判断当前手势是否可识别,当不可识别时,根据Hausdorff距离确定当前第二手势深度图的最小特征距离,最后通过Hausdorff距离确定第三手势深度图,并最终将第三手势深度图输入手势识别模型中,从而实现手势纠错。该系统包括:信息获取模块、预处理模块、第一输入模块、判断模块、最小特征距离确定模块、第三手势深度图确定模块和第二输入模块。该装置包括处理器以及与该处理器相连接的存储器,且处理器可执行如上所述的手势纠错方法。通过本申请,能够大大提高手势纠错的实时性和准确性。

    探究环境对植物生长过程影响的装置及方法

    公开(公告)号:CN109975486A

    公开(公告)日:2019-07-05

    申请号:CN201910255307.9

    申请日:2019-04-01

    Applicant: 济南大学

    Inventor: 冯志全 孟欣

    Abstract: 本发明提出了探究环境对植物生长过程影响的装置及方法,该装置包括水壶模型、光源模型、智能终端和AR平台;水壶模型的水壶瓶身靠近壶嘴处设置倾角传感器;当水壶模型倾斜倒水时,第一单片机实时读取倾斜角度计算出水流量。光源模型包括光强传感器,光强传感器通过调节内部接入电阻的大小,控制电流的大小,第二单片机实时获取电流,根据电流大小得出光照强度的状态。基于本发明提出的装置,还提出了探究环境对植物生长过程影响的方法。本发明针对植物生长影响最大的两个因素,光照和水分,提出了在实验室系统下的实物套件。通过传感器设计,将水流量和电流量化,作用于植物上,利用AR平台实时显示环境因素对植物生命活动的影响。

    一种可以智能感知用户倾倒行为的虚拟实验容器

    公开(公告)号:CN109598999A

    公开(公告)日:2019-04-09

    申请号:CN201811548935.8

    申请日:2018-12-18

    Applicant: 济南大学

    Inventor: 冯志全

    CPC classification number: G09B9/00

    Abstract: 本发明提供了一种可以智能感知用户倾倒行为的虚拟实验容器,该容器包括:容器模型本体,用于模拟实际实验容器的形状和大小;触发组件,设置有若干触发源;响应组件,设置在容器模拟本体上,所述的响应组件上设置有若干接收源;所述接收源的数量与所述触发源的数量相同,任意一个触发源和任意一个接收源接触时,形成一组感应回路;感应回路检测模块,用于检测感应回路的信号强弱,当组成的感应回路数量越多时,感应回路的信号越强。该发明通过两个硬件组件的对接实现倾倒行为的感知,判断更加精确,判断速度更快。

    一种虚拟显微镜实物交互套件及其应用

    公开(公告)号:CN109300387A

    公开(公告)日:2019-02-01

    申请号:CN201811477589.9

    申请日:2018-12-05

    Applicant: 济南大学

    CPC classification number: G09B25/00 G09B19/00

    Abstract: 本发明提供了一种虚拟显微镜实物交互套件及其应用,属于实验设备领域。该虚拟显微镜实物交互套件包括:显微镜本体模型以及设置在所述显微镜本体模型上的转动传感器、压感传感器、电子芯片、远程通信模块;远程计算显示设备和本地计算显示设备;所述转动传感器、压感传感器、远程通信模块分别与所述电子芯片连接;所述远程通信模块能够分别与远程计算显示设备和本地计算显示设备进行通讯。本发明利用虚拟融合技术,对用户观测结果进行信息增强,有利于用户随机探索实验现象的过程、机理与原理;而且通过实物操作,得到了真实显微镜条件下的操作体验,帮助实验人员掌握了相关实验技能。

    一种误识手势检测和纠错方法

    公开(公告)号:CN109190443A

    公开(公告)日:2019-01-11

    申请号:CN201810682051.5

    申请日:2018-06-27

    Applicant: 济南大学

    Inventor: 冯志全 孙凯云

    Abstract: 本发明提供了一种误识手势检测和纠错方法,属于手势识别领域。所述误识手势检测和纠错方法将任意一张手势的图片i输入到卷积神经网络进行识别得到类别号m,然后提取该图片i在卷积神经网络中的第5层卷积层的特征,计算第6通道和第58通道上的三维曲面峰值,通过对三维曲面峰值的判断实现对误识手势检测和纠错。本发明方法与传统的方法相比准确率提高了20%左右。

    一种基于面积特征的PCA静态手势识别方法

    公开(公告)号:CN105975906B

    公开(公告)日:2018-01-30

    申请号:CN201610268717.3

    申请日:2016-04-27

    Applicant: 济南大学

    Abstract: 本发明提供了一种基于面积特征的PCA静态手势识别方法,属于人机交互领域。该方法包括:第一步,对于通过摄像头捕捉到的图像进行处理,获得标准的手势图像;第二步,对第一步得到的手势图像进行包围盒处理,并将其投影到标准图像;第三步,获取第二步得到的标准图像中的手势区域形心、最远点和主方向;第四步,获取标准图像12区域最远点特征信息;第五步,获取标准图像的面积特征信息;第六步,采用PCA算法进行静态手势识别。

Patent Agency Ranking