-
公开(公告)号：CN110286764B
公开(公告)日：2022-11-04
申请号：CN201910544618.7
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明公开了一种多模态融合实验系统，包括实验仪器、输入模块、多模态意图融合模块、输出模块和报警模块；所述输入模块包括设置在实验仪器上的触觉感知模块、听觉感知模块和视觉感知模块，用于获取用户的触觉、语音、视觉信息；所述多模态意图融合模块用于融合用户的触觉、语音、视觉信息，通过查询数据库和知识库分析用户意图，建立行为节点，判断用户行为是否正确规范；所述报警模块用于提示用户操作错误；所述输出模块用于输出显示用户行为对应的实验操作效果。还公开了上述系统的使用方法，通过多模态信息的融合进行用户意图的分析和感知，解决了单一模态无法完整理解用户意图的问题，达到与用户进行互动的效果。
-
公开(公告)号：CN110286762B
公开(公告)日：2022-11-04
申请号：CN201910542518.0
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种具有多模态信息处理功能的虚拟实验平台，包括信息输入与交互识别模块、意图融合模块和交互应用模块；其中信息输入与交互识别模块完成胶头滴管传感器信息、语音信息和手势的输入及交互识别。意图融合模块将语音信息、胶头滴管传感器和手势得到三个意图集合进行组合，得到意图组合，不同的意图产生不同的行为定义行为的集合，得到行为集合，并且将意图组合和行为集合建立映射关系；交互应用模块用于通过视觉呈现和语音指引完成虚拟融合的实验。本发明平台采用三维场景和手势直接操作实验器材的方式，提供更加具有真实感的操作体验和实验现象，同时融合传感器信息和语音信息，构建一个处理多模态信息的平台系统。
-
公开(公告)号：CN110262664B
公开(公告)日：2022-05-17
申请号：CN201910543154.8
申请日：2019-06-21
Applicant: 济南大学
IPC: G06F3/01 , G06F3/0346 , G10L15/22
Abstract: 本发明提出了一种具有认知能力的智能交互手套，包括多模态感知模块、多模态认知模块和多模态交互模块；多模态感知模块用于对获取的传感器数据和语音信息进行双通道的多模态融合；多模态认知模块对多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；以及测量距离目标物体的长度的距离、识别出用户所抓握物体的具体信息、对用户操作物体和操作行为进行识别、并且可以使手套获取正确的弯曲度数据、给予用户振动反馈。通过本发明，采用虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。
-
-
公开(公告)号：CN110288016B
公开(公告)日：2021-09-28
申请号：CN201910544626.1
申请日：2019-06-21
Applicant: 济南大学
IPC: G06K9/62
Abstract: 本发明公开了一种多模态意图融合方法，通过传感器获取用户的声音信息和视觉信息；利用意图感知算法将获取的声音信息转化为若干语音意图，将视觉信息转化为操作意图；通过语音意图竞争确定用户真实语音意图；将操作意图作用于样本图像，并在屏幕上呈现操作结果；判断用户真实操作意图；构建系统反馈规则库，根据用户的真实操作意图和真实语音意图，查询并输出相应的系统反馈，指导用户操作。本发明还公开了一种虚拟显微镜，利用上述多模态意图融合方法，包括输入模块、控制模块和输出模块，使设备能够感知用户的真正意图，给出相应的反馈指导，有效的减少了用户误操作次数，方便用户更好的完成显微镜操作实验。
-
Patent Agency Ranking
公开(公告)号：CN112906617A
公开(公告)日：2021-06-04
申请号：CN202110251693.1
申请日：2021-03-08
Applicant: 济南大学
Abstract: 本公开公开的一种基于手部检测的驾驶员异常行为识别方法与系统，包括：获取待识别的驾驶员手势图像；将待识别的驾驶员手势图像输入训练好的手势检测模型中，获取驾驶员手势识别结果；其中，手势检测模型以CenterNet算法为基础，在CenterNet主干特征提取模块的每个Block中添加通道注意力模块。实现了对驾驶员手势的准确识别。
-
公开(公告)号：CN109032355B
公开(公告)日：2021-06-01
申请号：CN201810845774.2
申请日：2018-07-27
Applicant: 济南大学
Abstract: 本发明涉及一种多种手势对应同一交互命令的柔性映射交互算法，包括以下步骤，a.设计交互界面并选择交互手势；b.确定对应同一交互命令的多种手势；c.多种手势对应同一语义的柔性映射交互算法，包括以下分步骤，c‑1.获取手势信息和手势识别结果；c‑2.柔性映射交互算法，柔性映射交互模型，F(Xij)＝yi(i＝1,2,…,k1 j＝1,2,…,k3)(10)。本发明能够很好的解决在与智能教学界面交互过程中遇到的手势识别错误导致智能教学界面变化错误和手势不识别两个问题，并且该柔性映射交互算法是一个符合人类日常交互习惯的交互算法，能够显著地减少用户的交互负荷的有益效果。
-
公开(公告)号：CN112837554A
公开(公告)日：2021-05-25
申请号：CN202110253039.4
申请日：2021-03-09
Applicant: 济南大学
IPC: G08G1/0967 , G08G1/0968 , G08G1/01
Abstract: 本发明公开了一种基于双目相机的AGV定位导航方法及系统，系统包括双目相机传感器、车体安全防护装置、自动驾驶控制器、底盘控制器和底层线控单元。双目相机用来获得车道线信息和障碍物信息及站点信息，进行导航和避障及全局定位；车体安全防护装置用来车体安全保护，防止对行人、货物、车体造成伤害。自动驾驶控制器用来系统决策，算法解算；底层线控单元用来执行转角、速度及制动命令。基于双目相机的AGV定位导航系统导航精度高，铺设成本低，仅需要在原有场地进行车道线的铺设即可，工作可靠稳定，适合在室内室外环境下定位导航。
-
公开(公告)号：CN112748800A
公开(公告)日：2021-05-04
申请号：CN202010975995.9
申请日：2020-09-16
Applicant: 济南大学
Abstract: 本发明提供了一种基于智能手套的实验场景感知交互方法，本发明通过智能手套对实验场景中的物体信息以及相应的位置关系进行实时感知，学生佩戴智能手套能够操作真实的实验用具，配合虚拟的实验平台进行实验，从而提升学生的实验沉浸感。在场景感知的基础上，本发明还提出了一种融合了语音，视觉，传感器信息的智能导航式交互范式去推测用户的实验意图，结合用户的行为对用户实验的规范性进行监控，并给予用户对应的操作反馈与指导。
-
公开(公告)号：CN112333636A
公开(公告)日：2021-02-05
申请号：CN202011049457.3
申请日：2020-09-29
Applicant: 济南大学
Inventor： 冯志全
Abstract: 本发明提供了用于室内寻物的装置及方法，装置包括物品、定位模块、手持模块、控制模块，方法包括S1：利用手持模块发送包含目标对象信息的寻物指令；S2：对寻物指令进行关键词匹配，若匹配成功，则进入S3；若匹配失败，则返回S1；S3：控制模块获取目标对象和手持模块的坐标位置；S4：控制模块计算目标对象和手持模块的位置关系及距离，并规划路径；S5：控制模块将规划路径发送至手持模块；S6：手持模块识别到物体电子标签上的信息，并将信息发送至控制模块；S7：控制模块将信息比对结果发送至手持模块。本发明可以实时更新和识别物品位置和信息，辅助行动不便的人实现快速的室内寻物。
-
-
-
-
-
-
-
-
-
Search Results
259
records
(took 0.044 seconds)
