-
公开(公告)号：CN111651035B
公开(公告)日：2023-04-07
申请号：CN202010284617.6
申请日：2020-04-13
Applicant: 济南大学
IPC: G06F3/01 , G06V40/20 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本申请公开了一种基于多模态交互的虚拟实验系统及方法，该实验系统主要包括输入层、感知与识别层、融合层以及应用层。该方法包括：分别通过视觉通道、触觉通道和听觉通道，采集相应的视觉信息、传感信号以及语音信号；分别对不同通道的信息进行识别；根据识别结果，采用基于决策层面的多模态融合方法，在AR平台上对视觉通道、触觉通道和听觉通道的模态信息所构建的相应向量集进行融合；根据融合结果，采用语音导航、视觉显示以及触觉反馈的方式呈现实验过程和实验结果。通过本申请，能够充分利用多种通道，并采用多模态融合的方法实现实验过程，有利于降低用户操作负荷，提高实验的沉浸感，提高虚拟交互的效率。
-
公开(公告)号：CN115860591A
公开(公告)日：2023-03-28
申请号：CN202310192914.1
申请日：2023-03-03
Applicant: 济南大学
Inventor： 冯志全
IPC: G06Q10/0639 , G06Q50/20
Abstract: 本发明公开了一种实验操作AI考试评分方法及系统，属于考试成绩计算领域，所述方法包括：将实验过程分为m个步骤，将每个实验步骤分为n个评分点；计算每个评分点分值、每个评分点分值求和得到每个步骤分值、每个步骤分值求和得到总分；计算每个评分点分值可信度tk、每个步骤分值Ti、总分的可信度T；对评分点进行补充评分；输出考试评分表。本发明旨在精准、量化、实时地给出评定成绩和扣分依据，精准提供全程可追溯的实验操作数据。
-
公开(公告)号：CN109992107B
公开(公告)日：2023-02-24
申请号：CN201910150659.8
申请日：2019-02-28
Applicant: 济南大学
IPC: G06F3/01
Abstract: 本发明的虚拟操控装置及其操控方法，装置包括：模拟部，通过将电子信息加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；识别部，通过识别人体动作姿态对应的操作手势，将操作手势附加到模拟部上；转换部，将识别部中操作手势与模拟部的结合转化成三维演示图像；显示部，将转换部转化成的图像显示为人眼可看的视觉影像。方法包括：读取单元选择实验器具及实验材料；选择初始操作的实验器具；基于手势行为，确定初始操作；识别运动轨迹，判断实验器具的移动方向；判断实验器具之间的位置，确定倾倒结果正确；生成实验操作过程；将上述操作过程转化成三维图像，并显示在显示部。该发明能够进行虚拟实验的操作和演示。
-
公开(公告)号：CN110175607B
公开(公告)日：2023-01-24
申请号：CN201910362144.4
申请日：2019-04-30
Applicant: 济南大学
IPC: G06V30/142 , G06F3/0354 , G09B17/02
Abstract: 本发明提供了一种激光笔套件及其画图跟踪实现方法，本发明利用Kinect设备与AR交互算法以及激光笔按钮相结合，只需要在Kinect设备前做动作即可实现远程任意画直线或曲线的操作，另外还可进行选择、旋转以及平移操作，当选择物体时，激光笔会发出激光，从而获知选择哪个物体，实现以简单的方式来进行数学图形的绘制，方便远程教学。在画图追踪算法上，将基于颜色特征的检测、五帧差分算法与混合高斯模型进行结合。将三个检测出的结果进行逻辑“与”运算，再通过连通性检测得到完整的运动目标。从而有效地克服光照变化噪声干扰、空洞的现象，具有鲁棒性和准确性。
-
公开(公告)号：CN112748800B
公开(公告)日：2022-11-04
申请号：CN202010975995.9
申请日：2020-09-16
Applicant: 济南大学
Abstract: 本发明提供了一种基于智能手套的实验场景感知交互方法，本发明通过智能手套对实验场景中的物体信息以及相应的位置关系进行实时感知，学生佩戴智能手套能够操作真实的实验用具，配合虚拟的实验平台进行实验，从而提升学生的实验沉浸感。在场景感知的基础上，本发明还提出了一种融合了语音，视觉，传感器信息的智能导航式交互范式去推测用户的实验意图，结合用户的行为对用户实验的规范性进行监控，并给予用户对应的操作反馈与指导。
-
Patent Agency Ranking
公开(公告)号：CN112101219B
公开(公告)日：2022-11-04
申请号：CN202010970662.7
申请日：2020-09-15
Applicant: 济南大学
IPC: G06V40/20 , G06V10/26 , G06V10/764 , G06V10/84 , G06V10/82 , G06N3/04 , G06N3/08 , G10L15/08 , G10L15/22
Abstract: 本发明提出了一种面向老年陪护机器人的意图理解方法和系统，该方法包括：实时获取老年人的手势图像和姿态信息，对手势图像和姿态信息均进行图像分割分别形成手势数据集和姿态数据集；将手势数据集输入训练好的神经网络模型进行手势识别得到手势识别概率集、将姿态数据集输入训练好的隐马尔可夫模型进行姿态识别得到姿态识别概率集；基于混淆矩阵的融合算法将手势识别概率集和姿态识别概率集进行意图融合，在不同意图分类下，采用F1分数计算两个概率集融合时不同意图下的权重占比；进而确定出最终识别意图。基于该方法，还提出了意图理解系统。本发明提高了老年陪护机器人系统的意图理解率，以及老年人对于社交陪护机器人的使用满足感。
-
公开(公告)号：CN110554774B
公开(公告)日：2022-11-04
申请号：CN201910660335.9
申请日：2019-07-22
Applicant: 济南大学
Abstract: 本发明提出了一种面向AR的导航式交互范式系统，该系统包括输入与感知模块、融合模块以及应用表达模块；输入与感知模块通过kinect获取手部骨骼深度信息，得到手势深度图，完成手势识别；通过语音关键词识别和提取，对实验关键词分类，通过相似度计算得到相似度概率，完成语音识别；融合模块根据手势识别、语音识别以及力反馈表达，通过计算不同模态下不同状态的信号感知对用户意图进行分类，确定多模态意图，并且设置意图专家知识库；应用表达模块对虚拟化学实验进行语音导航，视觉呈现，以及通过进行感知力反馈表达。本发明采用自然交互技术融合手势和语音多模态，并探索一种自然交互模式，降低用户负荷，带来不同的用户体验。
-
公开(公告)号：CN110309570B
公开(公告)日：2022-11-04
申请号：CN201910544280.5
申请日：2019-06-21
Applicant: 济南大学
IPC: G06F30/20 , G06F40/289 , G06F40/30 , G06F40/247 , G06Q50/20 , G09B9/00
Abstract: 本发明提出了一种具有认知能力的多模态仿真实验容器，包括：仿真实验容器本体、触摸显示器、光敏传感器、单片机、声音传感器、智能终端，还提出了一种具有认知能力的多模态仿真实验容器方法，通过传感器感知用户行为，得到第一意图集，并通过对语音进行关键字提取处理，得到第二意图集，将第一意图集与第二意图集进行取交集运算，从而得到第三意图集，给用户一种真实的反馈感，用户在使用时不需要去刻意的记忆步骤，改为运用实验操作去理解知识，增加了学生学习兴趣和对知识的运用能力，极大的减少了实验材料的消耗，也不用处理试验后留下的实验废品，方便用户操作。
-
公开(公告)号：CN110286764B
公开(公告)日：2022-11-04
申请号：CN201910544618.7
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明公开了一种多模态融合实验系统，包括实验仪器、输入模块、多模态意图融合模块、输出模块和报警模块；所述输入模块包括设置在实验仪器上的触觉感知模块、听觉感知模块和视觉感知模块，用于获取用户的触觉、语音、视觉信息；所述多模态意图融合模块用于融合用户的触觉、语音、视觉信息，通过查询数据库和知识库分析用户意图，建立行为节点，判断用户行为是否正确规范；所述报警模块用于提示用户操作错误；所述输出模块用于输出显示用户行为对应的实验操作效果。还公开了上述系统的使用方法，通过多模态信息的融合进行用户意图的分析和感知，解决了单一模态无法完整理解用户意图的问题，达到与用户进行互动的效果。
-
公开(公告)号：CN110286762B
公开(公告)日：2022-11-04
申请号：CN201910542518.0
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明提出了一种具有多模态信息处理功能的虚拟实验平台，包括信息输入与交互识别模块、意图融合模块和交互应用模块；其中信息输入与交互识别模块完成胶头滴管传感器信息、语音信息和手势的输入及交互识别。意图融合模块将语音信息、胶头滴管传感器和手势得到三个意图集合进行组合，得到意图组合，不同的意图产生不同的行为定义行为的集合，得到行为集合，并且将意图组合和行为集合建立映射关系；交互应用模块用于通过视觉呈现和语音指引完成虚拟融合的实验。本发明平台采用三维场景和手势直接操作实验器材的方式，提供更加具有真实感的操作体验和实验现象，同时融合传感器信息和语音信息，构建一个处理多模态信息的平台系统。
-
-
-
-
-
-
-
-
-
Search Results
259
records
(took 0.029 seconds)
