-
公开(公告)号：CN110262664B
公开(公告)日：2022-05-17
申请号：CN201910543154.8
申请日：2019-06-21
Applicant: 济南大学
IPC: G06F3/01 , G06F3/0346 , G10L15/22
Abstract: 本发明提出了一种具有认知能力的智能交互手套，包括多模态感知模块、多模态认知模块和多模态交互模块；多模态感知模块用于对获取的传感器数据和语音信息进行双通道的多模态融合；多模态认知模块对多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；以及测量距离目标物体的长度的距离、识别出用户所抓握物体的具体信息、对用户操作物体和操作行为进行识别、并且可以使手套获取正确的弯曲度数据、给予用户振动反馈。通过本发明，采用虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。
-
-
公开(公告)号：CN110288016B
公开(公告)日：2021-09-28
申请号：CN201910544626.1
申请日：2019-06-21
Applicant: 济南大学
IPC: G06K9/62
Abstract: 本发明公开了一种多模态意图融合方法，通过传感器获取用户的声音信息和视觉信息；利用意图感知算法将获取的声音信息转化为若干语音意图，将视觉信息转化为操作意图；通过语音意图竞争确定用户真实语音意图；将操作意图作用于样本图像，并在屏幕上呈现操作结果；判断用户真实操作意图；构建系统反馈规则库，根据用户的真实操作意图和真实语音意图，查询并输出相应的系统反馈，指导用户操作。本发明还公开了一种虚拟显微镜，利用上述多模态意图融合方法，包括输入模块、控制模块和输出模块，使设备能够感知用户的真正意图，给出相应的反馈指导，有效的减少了用户误操作次数，方便用户更好的完成显微镜操作实验。
-
公开(公告)号：CN112906617A
公开(公告)日：2021-06-04
申请号：CN202110251693.1
申请日：2021-03-08
Applicant: 济南大学
Abstract: 本公开公开的一种基于手部检测的驾驶员异常行为识别方法与系统，包括：获取待识别的驾驶员手势图像；将待识别的驾驶员手势图像输入训练好的手势检测模型中，获取驾驶员手势识别结果；其中，手势检测模型以CenterNet算法为基础，在CenterNet主干特征提取模块的每个Block中添加通道注意力模块。实现了对驾驶员手势的准确识别。
-
公开(公告)号：CN109032355B
公开(公告)日：2021-06-01
申请号：CN201810845774.2
申请日：2018-07-27
Applicant: 济南大学
Abstract: 本发明涉及一种多种手势对应同一交互命令的柔性映射交互算法，包括以下步骤，a.设计交互界面并选择交互手势；b.确定对应同一交互命令的多种手势；c.多种手势对应同一语义的柔性映射交互算法，包括以下分步骤，c‑1.获取手势信息和手势识别结果；c‑2.柔性映射交互算法，柔性映射交互模型，F(Xij)＝yi(i＝1,2,…,k1 j＝1,2,…,k3)(10)。本发明能够很好的解决在与智能教学界面交互过程中遇到的手势识别错误导致智能教学界面变化错误和手势不识别两个问题，并且该柔性映射交互算法是一个符合人类日常交互习惯的交互算法，能够显著地减少用户的交互负荷的有益效果。
-
Patent Agency Ranking
公开(公告)号：CN112837554A
公开(公告)日：2021-05-25
申请号：CN202110253039.4
申请日：2021-03-09
Applicant: 济南大学
IPC: G08G1/0967 , G08G1/0968 , G08G1/01
Abstract: 本发明公开了一种基于双目相机的AGV定位导航方法及系统，系统包括双目相机传感器、车体安全防护装置、自动驾驶控制器、底盘控制器和底层线控单元。双目相机用来获得车道线信息和障碍物信息及站点信息，进行导航和避障及全局定位；车体安全防护装置用来车体安全保护，防止对行人、货物、车体造成伤害。自动驾驶控制器用来系统决策，算法解算；底层线控单元用来执行转角、速度及制动命令。基于双目相机的AGV定位导航系统导航精度高，铺设成本低，仅需要在原有场地进行车道线的铺设即可，工作可靠稳定，适合在室内室外环境下定位导航。
-
公开(公告)号：CN112748800A
公开(公告)日：2021-05-04
申请号：CN202010975995.9
申请日：2020-09-16
Applicant: 济南大学
Abstract: 本发明提供了一种基于智能手套的实验场景感知交互方法，本发明通过智能手套对实验场景中的物体信息以及相应的位置关系进行实时感知，学生佩戴智能手套能够操作真实的实验用具，配合虚拟的实验平台进行实验，从而提升学生的实验沉浸感。在场景感知的基础上，本发明还提出了一种融合了语音，视觉，传感器信息的智能导航式交互范式去推测用户的实验意图，结合用户的行为对用户实验的规范性进行监控，并给予用户对应的操作反馈与指导。
-
公开(公告)号：CN112333636A
公开(公告)日：2021-02-05
申请号：CN202011049457.3
申请日：2020-09-29
Applicant: 济南大学
Inventor： 冯志全
Abstract: 本发明提供了用于室内寻物的装置及方法，装置包括物品、定位模块、手持模块、控制模块，方法包括S1：利用手持模块发送包含目标对象信息的寻物指令；S2：对寻物指令进行关键词匹配，若匹配成功，则进入S3；若匹配失败，则返回S1；S3：控制模块获取目标对象和手持模块的坐标位置；S4：控制模块计算目标对象和手持模块的位置关系及距离，并规划路径；S5：控制模块将规划路径发送至手持模块；S6：手持模块识别到物体电子标签上的信息，并将信息发送至控制模块；S7：控制模块将信息比对结果发送至手持模块。本发明可以实时更新和识别物品位置和信息，辅助行动不便的人实现快速的室内寻物。
-
公开(公告)号：CN112306232A
公开(公告)日：2021-02-02
申请号：CN202010984175.6
申请日：2020-09-18
Applicant: 济南大学
Inventor： 冯志全
Abstract: 本发明提供了一种实时重构物体运动轨迹的方法，所述的方法包括：用摄像头获取t时刻运动物体的图像It；计算It的重心像素点坐标P(xt,yt)；将P点映射到3D空间位置Q(Xt,Yt,Zt)；在3D空间中画出Q点位置；基于人机交互方式改变Q点轨迹；在输出设备上可视化Q点的轨迹。该方法可以用于虚拟现实、人机交互、虚拟实验等系统中，在二维跟踪的基础上，结合语音、传感等多模态感知与交互技术控制运动对象的虚拟轨迹，可同时满足高实时性和低成本的应用要求。
-
公开(公告)号：CN112295617A
公开(公告)日：2021-02-02
申请号：CN202010984196.8
申请日：2020-09-18
Applicant: 济南大学
Abstract: 本发明提出了一种基于实验场景态势感知的智能烧杯，包括多模态输入感知模块、意图理解模块和意图融合模块；多模块输入感知模块用于接收语音传感器和视觉信息。意图理解模块用于根据语音关键字与语音意图库中意图的相关度得到语音意图；通过姿态传感器和测距设备交互获取烧杯的三维信息得到操作行为意图；基于图获取的图像，采用slam技术感知烧杯运动轨迹和采用区域生成网络感知场景态势得到场景感知意图。意图融合模块用于将用户意图利用模糊逻辑算子进行模糊推理，结合场景感知意图得到意图融合最终结果。本发明通过智能烧杯通过多模态融合与意图理解算法解决了用户行为的过程监控、实验场景理解和真实感量化交互方法的问题。
-
-
-
-
-
-
-
-
-
Search Results
259
records
(took 0.063 seconds)
