基于虚实融合实验的倾倒容器套件及其使用方法

    公开(公告)号:CN109967145B

    公开(公告)日:2021-05-07

    申请号:CN201910249232.3

    申请日:2019-03-29

    Applicant: 济南大学

    Inventor: 冯志全 韩睿

    Abstract: 本发明实施例公开了基于虚实融合实验的倾倒容器套件及其使用方法,套件包括倾倒容器、压感传感器和倾斜传感器;所述压感传感器设置在倾倒容器瓶口,用于感知倾倒液体时,倾倒容器瓶口与接收器的接触状态;所述倾斜传感器设置在倾倒容器侧壁,用于感知倾倒的角度和速度。通过本发明的倾倒容器套件,在AR化学实验中,AR系统能够实时获取到倾倒是的倾斜角度和倾倒速度以及是否倾倒容器瓶口是否贴近接收器,在实时感知倾倒操作的同时,对于不符合倾倒规范的操作给出提醒,避免实验过程中造成危险,且保证实验结果的精确性。

    一种面向老年陪护机器人的智能纠错方法及系统

    公开(公告)号:CN112101236A

    公开(公告)日:2020-12-18

    申请号:CN202010978616.1

    申请日:2020-09-17

    Applicant: 济南大学

    Abstract: 本发明为了解决现有技术中存在的问题,创新提出了一种面向老年陪护机器人的智能纠错方法,在错误手势库的基础上,探究了基于机器人认知层手势识别错误的原因,利用皮尔逊算法计算出能够得到相同结果的不同输入手势间特征数组中差距最大的特征矩阵层号,并基于此利用博弈规则建立纠错算法,实现了基于认知层的纠错,提高了机器人对误识手势的识别率,本发明还提出了一种面向老年陪护机器人的智能纠错系统,有效解决机器人识别过程中由于老年人各项能力的弱化、手势表达不标准等问题造成的识别率不高的问题,有效的提高了机器人的手势识别的可靠性,提高了老年人陪护体验。

    一种虚拟实验中的探究式交互算法

    公开(公告)号:CN111814095A

    公开(公告)日:2020-10-23

    申请号:CN202010581846.4

    申请日:2020-06-23

    Applicant: 济南大学

    Inventor: 冯志全 曾波涛

    Abstract: 本发明涉及一种虚拟实验中的探究式交互算法,设置实验内容在实验内容 情况下,交互方式采用可探究式交互模式,包括用户意图理解阶段和智能交互阶段,在用户意图理解阶段,用户意图Ik将得到系统反馈rk,N表示当前实验内容 下用户可能表达的意图数量并作为决定当前实验内容 是否更新的一个重要依据,当前实验内容会更新为 以满足用户的探究性操作,用户的可执行意图集合会随着实验内容的更新而更新。本发明有利于用户意图的灵活表达以便将更多精力集中在对实验内容的探究和学习上,满足了用户的创新性交互意图,对提升用户创新能力和求知欲有极大帮助。

    仿真实验中分液漏斗的操控识别装置及方法

    公开(公告)号:CN111709969A

    公开(公告)日:2020-09-25

    申请号:CN202010552326.0

    申请日:2020-06-17

    Applicant: 济南大学

    Inventor: 冯志全

    Abstract: 本发明提供了仿真实验中分液漏斗的操控识别装置及方法,所述的装置包括:操控模块,用于模拟分液漏斗的活塞结构,将一标识片与该活塞结构的转动角度关联,并拍摄该标识片的连续照片传送至识别单元;识别模块,用于基于标识片的连续照片,计算分液漏斗中溶液的流速。所述的方法包括:获取标识片每一帧图像;计算标识片第i帧的重心点坐标;计算第i帧时标识片的方向向量Pi;计算标识片的转动角度θ;根据Pi×Pi-1的值来判断转动的方向;计算第i时刻的分液漏斗流速Speedi。该发明通过对于标识片的图像识别,实现了对分液漏斗内溶液流速的实时测量和仿真模拟。

    一种手势识别方法及其应用

    公开(公告)号:CN107766842B

    公开(公告)日:2020-07-28

    申请号:CN201711101103.7

    申请日:2017-11-10

    Applicant: 济南大学

    Abstract: 本发明提供了一种手势识别方法及其应用,属于智能教学领域。该手势识别方法包括:(1),输入Kinect捕捉的深度图,进行样本序列预处理,获得合成的动态手势训练样本;(2)将合成的动态手势训练样本输入到训练好的深度学习模型中进行识别:训练好的深度学习模型根据分类输出每种分类的识别概率,找到其中最高的识别概率,其对应的分类就是识别的结果。利用本发明方法提高了手势的识别率以及鲁棒性,让老师能够用平常讲课过程中用到的自然手势来给学生上课,而不必重点记忆交互的方法,将有限的精力完全用于教学当中。

    一种深度手势识别算法的优化方法

    公开(公告)号:CN110348417A

    公开(公告)日:2019-10-18

    申请号:CN201910646658.2

    申请日:2019-07-17

    Applicant: 济南大学

    Abstract: 本申请公开了一种深度手势识别算法的优化方法,涉及人机交互技术领域,所述方法包括:建立统一的数据集存放结构和统一的数据集文件;根据配置文件将数据集样本以载入到内存中;将载入的数据集样本交给完整统一的训练模块;优化神经网络结构;根据配置信息来配置训练过程中各种可调参数和训练模块的行为并开始训练;训练结束后依据配置文件进行模型的保存和实验中数据的保存;将训练过程产生的数据加载到画图模块进行训练过程相关曲线的绘制。建立统一的数据集存放结构和统一的数据集文件,能在不同的项目间迁移,对多种传统网络的网络参数设置与优化,将传统网络结合实际使用情况加以优化和改进,增加训练速度,优化训练结果,减小模型体积。

    一种具有认知能力的多模态仿真实验容器及方法

    公开(公告)号:CN110309570A

    公开(公告)日:2019-10-08

    申请号:CN201910544280.5

    申请日:2019-06-21

    Applicant: 济南大学

    Abstract: 本发明提出了一种具有认知能力的多模态仿真实验容器,包括:仿真实验容器本体、触摸显示器、光敏传感器、单片机、声音传感器、智能终端,还提出了一种具有认知能力的多模态仿真实验容器方法,通过传感器感知用户行为,得到第一意图集,并通过对语音进行关键字提取处理,得到第二意图集,将第一意图集与第二意图集进行取交集运算,从而得到第三意图集,给用户一种真实的反馈感,用户在使用时不需要去刻意的记忆步骤,改为运用实验操作去理解知识,增加了学生学习兴趣和对知识的运用能力,极大的减少了实验材料的消耗,也不用处理试验后留下的实验废品,方便用户操作。

    一种多模态意图融合方法及应用

    公开(公告)号:CN110288016A

    公开(公告)日:2019-09-27

    申请号:CN201910544626.1

    申请日:2019-06-21

    Applicant: 济南大学

    Abstract: 本发明公开了一种多模态意图融合方法,通过传感器获取用户的声音信息和视觉信息;利用意图感知算法将获取的声音信息转化为若干语音意图,将视觉信息转化为操作意图;通过语音意图竞争确定用户真实语音意图;将操作意图作用于样本图像,并在屏幕上呈现操作结果;判断用户真实操作意图;构建系统反馈规则库,根据用户的真实操作意图和真实语音意图,查询并输出相应的系统反馈,指导用户操作。本发明还公开了一种虚拟显微镜,利用上述多模态意图融合方法,包括输入模块、控制模块和输出模块,使设备能够感知用户的真正意图,给出相应的反馈指导,有效的减少了用户误操作次数,方便用户更好的完成显微镜操作实验。

    一种具有认知功能的导航式实验交互装置

    公开(公告)号:CN110286763A

    公开(公告)日:2019-09-27

    申请号:CN201910543141.0

    申请日:2019-06-21

    Applicant: 济南大学

    Abstract: 本发明提出了一种具有认知功能的导航式实验交互装置,包括信息输入感知模块、信息融合模块以及操作应用模块;其中信息输入感知模块获取视觉感知;获取容器信息以及完成触觉感知和通过语音的输入完成听觉感知。信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知,确定多模态意图。操作应用模块基于多模态意图理解应用于实验。本发明通过对三个通道不同状态对交互的感知表达,以多模态信息相交集合与意图特征集合进行匹配,构成多模态意图理解模型,完成多模态融合,通过文字或语音对关键操作进行提示或指引,根据用户意图与操作规范判断错误操作,并对错误操作行为进行提示或对其后果进行可视化呈现。

    一种具有认知能力的智能交互手套

    公开(公告)号:CN110262664A

    公开(公告)日:2019-09-20

    申请号:CN201910543154.8

    申请日:2019-06-21

    Applicant: 济南大学

    Abstract: 本发明提出了一种具有认知能力的智能交互手套,包括多模态感知模块、多模态认知模块和多模态交互模块;多模态感知模块用于对获取的传感器数据和语音信息进行双通道的多模态融合;多模态认知模块对多模态融合后,采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知;以及测量距离目标物体的长度的距离、识别出用户所抓握物体的具体信息、对用户操作物体和操作行为进行识别、并且可以使手套获取正确的弯曲度数据、给予用户振动反馈。通过本发明,采用虚实融合的交互方式增加了学生的实验操作感,使学生能够对实验过程与现象进行更好的理解与记忆。

Patent Agency Ranking