-
公开(公告)号：CN111968470B
公开(公告)日：2022-05-17
申请号：CN202010908528.4
申请日：2020-09-02
Applicant: 济南大学
IPC: G09B23/24
Abstract: 本发明提出了一种面向虚实融合的闯关交互式实验方法和系统，该方法首先获取与实验操作相关的用户意图集合，根据用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据用户操作意图出现的时间确定在某时刻的用户意图。通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。基于该实验方法，还提出了闯关交互式实验系统。本发明基于多通道信息互补的意图理解算法根据上下文交互情境，根据视觉数据、传感数据和语音数据，推测用户下一步的基本操作，通过闯关的方式有利于增加在实验过程中的乐趣，巩固和实验相关的知识。
-
公开(公告)号：CN110020703B
公开(公告)日：2022-04-01
申请号：CN201910249784.4
申请日：2019-03-29
Applicant: 济南大学
IPC: G06K19/067 , G09F3/00 , B01L3/00
Abstract: 本发明实施例公开了基于虚实融合实验的试剂标签套件及其使用方法。套件包括试剂瓶和感知传感器，所述感知传感器包括标签盘和标签；所述标签盘固定在试剂瓶上，用于感知标签上的试剂信息；所述标签安装在标签盘上，用于携带试剂信息并将该试剂信息传递给标签盘。使用方法包括建立试剂与序列号的对应关系，并存入数据库；根据当前试剂，确定标签上触点与第二正负极的连接方式，并将标签安装到标签盘上；通过识别标签盘上触片的接通信息，读取触片对应的序列号；从数据库中检索当前序列号对应的试剂，获知当前试剂名称。通过本发明的试剂标签套件能够通过AR直观显示当前试剂的名称，为接下来的化学实验操作奠定基础。
-
公开(公告)号：CN114093025A
公开(公告)日：2022-02-25
申请号：CN202111286035.2
申请日：2021-10-29
Applicant: 济南大学
Abstract: 本发明提出了一种多模态意图逆向主动融合的人机协同方法和系统，该方法包括获取用户的模态信息；模态信息包括语音、手势和体态信息；基于模态信息进行意图分析推理出用户的直接意图，直接意图通过推理知识库得到用户的间接意图；从间接意图中分析出可能性最大的意图作为真实意图；通过对真实意图下用户的模态信息进行信任度评价得到可执行意图；分析可执行意图，给用户和机器人分配协同任务。基于该方法，还提出了人机协同系统，本发明信任度评价方法综合了时间因素、历史因素、单模态信息熵和单模态识别可信度，对用户表达的错误意图进行规避，真正达到了陪护效果。采用了自适应机制，将用户的习惯作为系统决策的因素，提高意图提取准确率。
-
公开(公告)号：CN114043497A
公开(公告)日：2022-02-15
申请号：CN202111374814.8
申请日：2021-11-19
Applicant: 济南大学
Abstract: 本发明提出了一种与老年人益智游戏智能交互的方法、系统和机器人，该方法包括：实时识别游戏对象的位置和旋转角度；在老人操作完成后，根据所述游戏对象的位置和旋转角度，计算抓取下一游戏对象动作的即时回报值以及根据所述即时回报值执行游戏对象抓取；所述游戏对象动作的即时回报值用于表示在可选范围内最优且代价最小的动作，并更新强化学习中的状态动作值函数。基于该方法，还提出了一种与老年人益智游戏智能交互的系统和机器人。本发明在强化学习状态改变的基础上加入了人机交互的因素，在与老年人进行益智游戏的过程中，强调机器人和人产生互动，有效的提高了老年人陪护的质量，更好的实现老年心理健康方面的陪护。
-
公开(公告)号：CN113673479A
公开(公告)日：2021-11-19
申请号：CN202111031189.7
申请日：2021-09-03
Applicant: 济南大学
Inventor： 冯志全
Abstract: 本发明提供了一种基于视觉关注点识别物体的方法，所述的方法包括：S1：采用眼动仪设备获取人眼视线方向向量(a,b,c)；S2：计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)；S3：把P点周围的局部图像IM进行放大；S4：在IM的所有原始子图像中发现识别对象。本发明结合视觉关注技术和人工智能技术，解决在人机交互、智能监控与行为评价等应用系统中场景物体的识别率问题。
-
Patent Agency Ranking
公开(公告)号：CN112925936A
公开(公告)日：2021-06-08
申请号：CN202110196648.0
申请日：2021-02-22
Applicant: 济南大学
IPC: G06F16/535 , G06F16/583 , G06N3/04 , G06N3/08
Abstract: 本公开提供了一种基于深度哈希的运动捕获数据检索方法及系统，所述方案包括：基于运动捕获数据库中的运动捕获数据序列，生成每段运动捕获数据的运动表示图像；构建深度哈希特征提取模型，通过预训练的深度哈希特征提取模型提取所述运动表示图像的哈希特征；对于待检索的运动捕获数据，提取其哈希特征，并计算待检索的运动捕获数据哈希特征与所述运动捕获数据库中每段运动捕获数据哈希特征的距离，选择距离最近的前k个数据作为检索结果。本公开所述方案相对于现有技术具有更高的检索精度和效率。
-
公开(公告)号：CN112651326A
公开(公告)日：2021-04-13
申请号：CN202011530576.0
申请日：2020-12-22
Applicant: 济南大学
Abstract: 本发明公开一种基于深度学习的驾驶员手部检测方法及系统，包括：获取手部标注图像；在深度学习网络模型的主干网络中每个特征层上添加注意力机制，在注意力机制后连接由空间金字塔池化层和金字塔注意力网络组成的残差单元；对手部标注图像依次经主干网络和残差单元进行自下而上和自上而下的特征提取，根据得到的特征图对深度学习网络模型进行训练；对待测手部图像根据训练后的深度学习网络模型得到驾驶员手部的位置。通过将注意力机制模块添加到YOLOv4中主干网络CSPDarknet53中，优化深度学习网络，降低复杂驾驶环境中光照、遮挡与自遮挡等对驾驶员手部检测的影响，提高驾驶员手部检测的准确性。
-
公开(公告)号：CN112308116A
公开(公告)日：2021-02-02
申请号：CN202011045564.9
申请日：2020-09-28
Applicant: 济南大学
Abstract: 本发明提出了一种助老陪护机器人的自调优多通道融合方法和系统，该方法包括以下步骤：获取用户的语音信息、对象信息和手势信息，并进行离散化处理得到听觉集合、视觉集合和手势集合；基于神经网络的自学习功能，将听觉集合、视觉集合和手势集合根据机器人指令知识库进行一次多通道融合，对融合信息进行量化，并输出初始融合算子；对多通道融合进行迭代，在每次迭代时判断输出融合算子的变化、并调整输出的融合信息作为下次迭代的输入，当融合算子不变时迭代终止。基于该方法，还提出了融合系统。本发明使用神经网络的自学习思想以更灵活适应不同的信息表达方式找到最佳的组合模式，提高了助老陪护机器人信息融合的灵活性和鲁棒性。
-
公开(公告)号：CN112099632A
公开(公告)日：2020-12-18
申请号：CN202010974163.5
申请日：2020-09-16
Applicant: 济南大学
Abstract: 本发明提供了一种面向助老陪护的人‑机器人协同交互方法，本发明通过识别获得所需手势信息、认知目标和语音信息，并通过过滤处理，输出各模态的有效信息，通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽，实现用户意图的准确捕获，并对意图槽和必要的识别结果一起作为输入信息，通过基于认知模型的协同任务决策算法进行处理，在知识库和规则库的支持下，输出子任务执行的决策结果，实现人‑机器人协同工作。本发明可在降低老人交互负担的前提下，提高老年人和机器人之间的任务完成的绩效，使得老年人对机器人的陪护给予较高的满意度评价。
-
公开(公告)号：CN112099630A
公开(公告)日：2020-12-18
申请号：CN202010958262.4
申请日：2020-09-11
Applicant: 济南大学
Abstract: 本发明公开一种多模态意图逆向主动融合的人机交互方法，包括：获取环境数据、用户的手势数据以及用户的语音数据；对所述环境数据进行场景感知获取环境信息，对所述手势数据进行手势信息提取获取手势意图，对所述语音数据进行语音信息提取获取语音意图；进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图；对所述融合意图进行信任度评价获取目标融合意图；按所述目标融合意图进行交互反馈。本发明融合意图结合环境时刻、手势数据、语音数据多模态提取而获得，使得意图识别更加准确；能够避免老年人因健忘而重复某一意图；通过主动问询的方式确认发生概率较低的融合意图是否用户本意，获取反映用户本意的目标融合意图。
-
-
-
-
-
-
-
-
-
Search Results
259
records
(took 0.06 seconds)
