-
公开(公告)号：CN110286835B
公开(公告)日：2022-06-17
申请号：CN201910548006.5
申请日：2019-06-21
Applicant: 济南大学
IPC: G06T19/00 , G06T13/20 , G06F3/0487 , G06F3/0488 , G06F3/16 , G09B9/00
Abstract: 本发明提出了一种具有意图理解功能的交互式智能容器，包括感知模块、识别模块、意图融合模块和交互应用模块；感知模块用于获取智能容器的触觉信息以及通过语音输入输出设备获取语音信息。识别模块用于将输入的触觉信息和语音信息表示成是三元组，然后将三元组和数据库信息进行比对得出五元组的输出；意图融合模块采用类比推理的方式，得到用户的准确意图，并纠正教学导航。交互应用模块根据用户的意图呈现不同的实验效果，本发明设计了一种具有意图理解功能的交互式智能容器，以及研究适用于化学实验的多模态融合模型与算法，形成多模态感知的导航式虚实融合智能实验系统。本发明采用触觉信息和语音信息的意图融合，使人机交互更加自然。
-
公开(公告)号：CN109992107A
公开(公告)日：2019-07-09
申请号：CN201910150659.8
申请日：2019-02-28
Applicant: 济南大学
IPC: G06F3/01
Abstract: 本发明的虚拟操控装置及其操控方法，装置包括：模拟部，通过将电子信息加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；识别部，通过识别人体动作姿态对应的操作手势，将操作手势附加到模拟部上；转换部，将识别部中操作手势与模拟部的结合转化成三维演示图像；显示部，将转换部转化成的图像显示为人眼可看的视觉影像。方法包括：读取单元选择实验器具及实验材料；选择初始操作的实验器具；基于手势行为，确定初始操作；识别运动轨迹，判断实验器具的移动方向；判断实验器具之间的位置，确定倾倒结果正确；生成实验操作过程；将上述操作过程转化成三维图像，并显示在显示部。该发明能够进行虚拟实验的操作和演示。
-
公开(公告)号：CN104571823B
公开(公告)日：2015-12-02
申请号：CN201510013947.0
申请日：2015-01-12
Applicant: 济南大学
IPC: G06F3/0481 , G06F3/0484
Abstract: 本发明的一种基于智能电视的非接触式虚拟人机交互方法，包括以下步骤：步骤1，将智能电视连接图像传感设备，并在智能电视中建立手势识别系统和手势信息数据库，在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智能电视执行程序；步骤2，设定两种操作模式；步骤3，进行操作模式A，通过手势直接对智能电视切换出的二维菜单界面和三维操纵界面操作；步骤4，进行操作模式B，保持智能电视当前界面不变，调用与手势对应关联的智能电视执行程序。本发明的有益效果是：结合虚拟界面位置感知和用户的行为模型探测用户的交互意图，提出了解决了基于手势交互的人机系统中难以解决的“Midas Touch问题”的新途径。
-
公开(公告)号：CN104992156A
公开(公告)日：2015-10-21
申请号：CN201510394353.9
申请日：2015-07-07
Applicant: 济南大学
IPC: G06K9/00
CPC classification number: G06K9/00355
Abstract: 本发明的一种基于手势与多语义之间柔性映射的手势操控方法，首先筛选出操作者可能的交互意图，再结合交互上下文信息，进一步把操作者的手势语义压缩到更小的语义集合。其次，利用SDFBM特征，进一步锁定操作者手势语义。本发明的有益效果是：能够实现一个手势对应多个语义，减少了需要定义的手势命令数量，从而让用户不记忆或尽量少记忆手势命令就可以完成手势命令交互，可以自然地完成交互任务而不受记忆大量手势命令的困扰，不会因为操作者的误操作而中断从而影响交互的流畅性，极大减轻了给用户带来的认知负荷和操作负荷。
-
公开(公告)号：CN104571823A
公开(公告)日：2015-04-29
申请号：CN201510013947.0
申请日：2015-01-12
Applicant: 济南大学
IPC: G06F3/0481 , G06F3/0484
CPC classification number: G06F3/04815 , G06F3/017
Abstract: 本发明的一种基于智能电视的非接触式虚拟人机交互方法，包括以下步骤：步骤1，将智能电视连接图像传感设备，并在智能电视中建立手势识别系统和手势信息数据库，在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智能电视执行程序；步骤2，设定两种操作模式；步骤3，进行操作模式A，通过手势直接对智能电视切换出的二维菜单界面和三维操纵界面操作；步骤4，进行操作模式B，保持智能电视当前界面不变，调用与手势对应关联的智能电视执行程序。本发明的有益效果是：结合虚拟界面位置感知和用户的行为模型探测用户的交互意图，提出了解决了基于手势交互的人机系统中难以解决的“Midas Touch问题”的新途径。
-
Patent Agency Ranking
公开(公告)号：CN109992107B
公开(公告)日：2023-02-24
申请号：CN201910150659.8
申请日：2019-02-28
Applicant: 济南大学
IPC: G06F3/01
Abstract: 本发明的虚拟操控装置及其操控方法，装置包括：模拟部，通过将电子信息加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；识别部，通过识别人体动作姿态对应的操作手势，将操作手势附加到模拟部上；转换部，将识别部中操作手势与模拟部的结合转化成三维演示图像；显示部，将转换部转化成的图像显示为人眼可看的视觉影像。方法包括：读取单元选择实验器具及实验材料；选择初始操作的实验器具；基于手势行为，确定初始操作；识别运动轨迹，判断实验器具的移动方向；判断实验器具之间的位置，确定倾倒结果正确；生成实验操作过程；将上述操作过程转化成三维图像，并显示在显示部。该发明能够进行虚拟实验的操作和演示。
-
公开(公告)号：CN110309570B
公开(公告)日：2022-11-04
申请号：CN201910544280.5
申请日：2019-06-21
Applicant: 济南大学
IPC: G06F30/20 , G06F40/289 , G06F40/30 , G06F40/247 , G06Q50/20 , G09B9/00
Abstract: 本发明提出了一种具有认知能力的多模态仿真实验容器，包括：仿真实验容器本体、触摸显示器、光敏传感器、单片机、声音传感器、智能终端，还提出了一种具有认知能力的多模态仿真实验容器方法，通过传感器感知用户行为，得到第一意图集，并通过对语音进行关键字提取处理，得到第二意图集，将第一意图集与第二意图集进行取交集运算，从而得到第三意图集，给用户一种真实的反馈感，用户在使用时不需要去刻意的记忆步骤，改为运用实验操作去理解知识，增加了学生学习兴趣和对知识的运用能力，极大的减少了实验材料的消耗，也不用处理试验后留下的实验废品，方便用户操作。
-
公开(公告)号：CN110286764B
公开(公告)日：2022-11-04
申请号：CN201910544618.7
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明公开了一种多模态融合实验系统，包括实验仪器、输入模块、多模态意图融合模块、输出模块和报警模块；所述输入模块包括设置在实验仪器上的触觉感知模块、听觉感知模块和视觉感知模块，用于获取用户的触觉、语音、视觉信息；所述多模态意图融合模块用于融合用户的触觉、语音、视觉信息，通过查询数据库和知识库分析用户意图，建立行为节点，判断用户行为是否正确规范；所述报警模块用于提示用户操作错误；所述输出模块用于输出显示用户行为对应的实验操作效果。还公开了上述系统的使用方法，通过多模态信息的融合进行用户意图的分析和感知，解决了单一模态无法完整理解用户意图的问题，达到与用户进行互动的效果。
-
公开(公告)号：CN110262664B
公开(公告)日：2022-05-17
申请号：CN201910543154.8
申请日：2019-06-21
Applicant: 济南大学
IPC: G06F3/01 , G06F3/0346 , G10L15/22
Abstract: 本发明提出了一种具有认知能力的智能交互手套，包括多模态感知模块、多模态认知模块和多模态交互模块；多模态感知模块用于对获取的传感器数据和语音信息进行双通道的多模态融合；多模态认知模块对多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；以及测量距离目标物体的长度的距离、识别出用户所抓握物体的具体信息、对用户操作物体和操作行为进行识别、并且可以使手套获取正确的弯曲度数据、给予用户振动反馈。通过本发明，采用虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。
-
公开(公告)号：CN110288016B
公开(公告)日：2021-09-28
申请号：CN201910544626.1
申请日：2019-06-21
Applicant: 济南大学
IPC: G06K9/62
Abstract: 本发明公开了一种多模态意图融合方法，通过传感器获取用户的声音信息和视觉信息；利用意图感知算法将获取的声音信息转化为若干语音意图，将视觉信息转化为操作意图；通过语音意图竞争确定用户真实语音意图；将操作意图作用于样本图像，并在屏幕上呈现操作结果；判断用户真实操作意图；构建系统反馈规则库，根据用户的真实操作意图和真实语音意图，查询并输出相应的系统反馈，指导用户操作。本发明还公开了一种虚拟显微镜，利用上述多模态意图融合方法，包括输入模块、控制模块和输出模块，使设备能够感知用户的真正意图，给出相应的反馈指导，有效的减少了用户误操作次数，方便用户更好的完成显微镜操作实验。
-
-
-
-
-
-
-
-
-
Search Results
32
records
(took 0.022 seconds)
