公开(公告)号：CN101567093A

公开(公告)日：2009-10-28

申请号：CN200910015471.9

申请日：2009-05-25

Applicant: 济南大学

Inventor： 冯志全 ,  杨波

IPC: G06T17/40 ,  G06F3/01

Abstract: 本发明公开了一种三维手势模型的初始化方法，包括如下步骤：(1)建立三维手势数据库；(2)利用摄像机采集手势图像，并从视频流中获取一个帧图像，计算观测特征值；(3)在三维手势数据库中搜寻与当前手势图像最相近的三维手势模型；(4)从视频流获取新的观测特征值，并进行可视化显示；(5)操作者调整手势状态；(6)如果操作者不认可当前手势状态，转向步骤(4)；(7)如果操作者认可当前手势状态，则停止调整，对当前的手势状态及三维手势模型进行评价，得出评价结果，如果评价结果达到精度要求，则绘制、输出三维手势模型，初始化成功，如果评价结果没有达到精度要求，转向步骤(4)。

公开(公告)号：CN116156310B

公开(公告)日：2025-01-07

申请号：CN202310032255.5

申请日：2023-01-10

Applicant: 济南大学

Inventor： 冯志全

IPC: H04N23/611 ,  H04N9/31

Abstract: 一种穿戴式摄像机姿态监控与识别系统及方法，系统包括：头戴式穿戴架，摄像头，头戴式微型摄像机，与头戴式穿戴架固定连接，用于获取场景视频信息；投影装置，投影装置向微型摄像机拍摄的同一场景中投影，用于增强信息；通过调整投影装置的光轴方向，使投影图案的中心位置位于头戴式微型摄像机光轴线上；提示模块，当系统发生异常时发出提示；角度感知模块，用于获取头戴式微型摄像机的角度姿态信息，所述角度姿态信息包括：视角θ和仰角ω。本系统解决了采用头戴式摄像机容易出现的拍摄不到或拍摄不全操作场景、头部运动而影响实验评分结果等问题，本系统采用多投影区域技术，实现了对用户行为的精准指引，避免识别到其他不相关的器材。

公开(公告)号：CN113691779B

公开(公告)日：2024-04-05

申请号：CN202110984031.5

申请日：2021-08-25

Applicant: 济南大学

Inventor： 冯志全

IPC: H04N7/18 ,  H04N23/69 ,  H04N21/6587

Abstract: 本发明提供了一种AR系统中增强呈现方式的方法，所述的方法包括：S1：利用摄像头拍摄至少一段完整的场景呈现视频，对于每段视频中的任何一个操作对象，视频中均包含两个及以上的操作视角；S2：利用步骤S1的视频构建视频库；S3：操作者进入场景进行操作，在任意时间点发出视角变换请求；S4：系统接收视角变换请求后，获取视频库中符合视角变换请求的视频片段；S5：系统将获取的视频片段覆盖原始视频流；S6：覆盖状态退出时，恢复原始视频流的场景呈现。在不增加摄像头数目的前提下，操作者可以从不同视角感知交互场景的信息，达到移动摄像头才可能达到的感知效果。

公开(公告)号：CN111665941B

公开(公告)日：2023-12-22

申请号：CN202010509144.5

申请日：2020-06-07

Applicant: 济南大学

Inventor： 冯志全 ,  李健 ,  杨晓晖 ,  徐涛

IPC: G06F3/01 ,  G06V20/20 ,  G06V40/20 ,  G06V10/74 ,  G10L15/18 ,  G10L15/22 ,  G10L15/26

Abstract: 本发明涉及一种面向虚拟实验的多模态语义融合人机交互系统和方法，包括交互信息集成模块，还包括交互信息获取模块、交互意图推理模块和交互任务直行模块，其中，所述交互信息模块采用多模态融合模型来准确识别操作者的真实意图，并将获取到的信息提供给交互意图推理模块；所述交互意图推理模块根据手势语义和语言语义结合场景当前的交互情景来识别用户的交互意图，预测潜在的交互行为；所述交互任务执行模块根据交互意图推理模块预测的交互动作，生成用户期望的实验动作，生成响应的实验效果，返回对应的操作反馈，最后，实验效果和反馈通过不同的通道输出给用户。本发明解决了当下虚拟实验中面临的交互困难的问题。

公开(公告)号：CN109189206B

公开(公告)日：2023-08-18

申请号：CN201810633830.6

申请日：2018-06-20

Applicant: 济南大学

Inventor： 冯志全 ,  李健

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/82 ,  G06F3/01

Abstract: 本发明涉及一种三维手势生成方法，包括以下步骤:a.利用Kinect中的人体骨骼信息得到人手的深度坐标；b.获取人手区域的深度图像；c.将步骤b中获取的深度图像按照7:3的比例分为训练集和测试集两部分，并在Caffe框架下用CNN对步骤c‑1中的所有训练样本对手腕角度进行训练，得到一个i分类的CNN模型；d.对步骤c‑2中分出的每一类训练样本，随机取4/5的样本对手指j个局部状态再次进行CNN训练；e.对每一帧深度图像利用步骤c和步骤d中训练出的二层分类模型得到手腕状态和手指局部状态，这两种状态共同决定了手势状态；f.对手势状态判断并以此来实现对手势的控制。本发明利用二层分类模型对深度图像的手势状态进行分类，最后提出了控制算法以驱动虚拟手的运动。

公开(公告)号：CN114043497B

公开(公告)日：2023-06-30

申请号：CN202111374814.8

申请日：2021-11-19

Applicant: 济南大学

Inventor： 冯志全 ,  侯娅 ,  范雪

IPC: B25J11/00 ,  B25J9/08 ,  B25J9/16 ,  B25J15/08 ,  B25J18/00

Abstract: 本发明提出了一种与老年人益智游戏智能交互的方法、系统和机器人，该方法包括：实时识别游戏对象的位置和旋转角度；在老人操作完成后，根据所述游戏对象的位置和旋转角度，计算抓取下一游戏对象动作的即时回报值以及根据所述即时回报值执行游戏对象抓取；所述游戏对象动作的即时回报值用于表示在可选范围内最优且代价最小的动作，并更新强化学习中的状态动作值函数。基于该方法，还提出了一种与老年人益智游戏智能交互的系统和机器人。本发明在强化学习状态改变的基础上加入了人机交互的因素，在与老年人进行益智游戏的过程中，强调机器人和人产生互动，有效的提高了老年人陪护的质量，更好的实现老年心理健康方面的陪护。

公开(公告)号：CN109086664B

公开(公告)日：2023-04-28

申请号：CN201810681989.5

申请日：2018-06-27

Applicant: 济南大学

Inventor： 冯志全 ,  周晓燕

IPC: G06V40/20 ,  G06V10/26 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06F3/01 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种动静态融合的多态手势识别方法，属于交互式教学领域。该动静态融合的多态手势识别方法包括：(1)利用Kinect持续捕捉用户做出的手势序列；(2)对捕捉到的手势序列进行动静态融合处理，得到动静态融合的样本序列；(3)对所述动静态融合的样本序列进行归一化尺寸处理，得到训练样本；(4)将所述训练样本输入到训练好的深度学习模型中进行识别得到识别结果。利用本发明方法提高了多态手势的识别率以及鲁棒性,使整个交互式教学界面更好地为智能教学系统服务。

公开(公告)号：CN115880149A

公开(公告)日：2023-03-31

申请号：CN202211489722.9

申请日：2022-11-25

Applicant: 济南大学

Inventor： 杨晓晖 ,  刘维靖 ,  冯志全 ,  徐涛 ,  郭庆北

IPC: G06T3/40 ,  G06T7/246 ,  G06V10/80 ,  G06V10/82 ,  G06N3/044 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了基于轻量化驱动和三尺度编码的视频帧插值方法及系统，获取待插值视频的第i帧原始图像和第i+1帧原始图像；分别对第i帧原始图像和第i+1帧原始图像进行尺度缩放，得到第i帧缩小尺度的图像、第i+1帧缩小尺度的图像、第i帧放大尺度的图像、第i+1帧放大尺度的图像；将原始图像和尺度缩放后的图像均输入到训练后的视频帧插值模型中，输出插值图像；其中，训练后的视频帧插值模型，对原始图像和尺度缩放后的图像，分别进行三个尺度的特征提取，采用通道注意力机制模块对三个尺度的特征进行融合，采用双重注意力机制模块对融合后的特征进行增强；再对增强后的特征进行帧扭曲操作，得到插值图像。

公开(公告)号：CN115170402A

公开(公告)日：2022-10-11

申请号：CN202210492821.6

申请日：2022-05-07

Applicant: 山东海量信息技术研究院 ,  济南大学

Inventor： 杨晓晖 ,  刘维靖 ,  冯志全 ,  曲守宁 ,  赵新勇

IPC: G06T5/00 ,  G06T5/50 ,  G06T3/40 ,  G06N3/04 ,  G06N3/08 ,  G06V10/40 ,  G06V10/82

Abstract: 本发明提出了基于循环残差卷积和过度参数化卷积的帧插入方法及系统，将获取的前后两帧图片拼接后输入到基于循环卷积和残差操作的特征提取器中,提取深度特征；利用深度特征得到两帧图片中每个像素的偏移向量和权重,根据偏移向量和权重对每个像素进行扭曲,得到扭曲后的两帧图片；通过基于Gr i dNet的帧生成网络对扭曲后的前后两帧图片进行融合,生成新的插入帧；本发明通过基于循环残差卷积的特征提取器提取更准确的深度特征，过度参数化卷积提高深度网络训练的速度，并帮助网络在不增加计算复杂度的情况下提高网络性能，提高插入帧的视觉质量。

公开(公告)号：CN114881179B

公开(公告)日：2022-09-06

申请号：CN202210796763.6

申请日：2022-07-08

Applicant: 济南大学

Inventor： 冯志全 ,  杨璐榕

IPC: G06K9/62 ,  G06F40/44 ,  G06F40/279 ,  G06F3/01

Abstract: 本发明涉及数据处理技术领域，提供一种基于意图理解的智能实验方法，通过对多通道动态信息进行评估，按照有效信息的价值含量对每个通道自动赋予不同的权重，能够根据人的行为与动机的关系，获取静态信息，将静态信息与动态信息采用融合策略进行融合，提高意图预测的准确率，另外设计加入了趣味学习元素，可以根据不同学生的实验情况进行有针对性的引导警示以及设障等，使学生更容易达到心流状态。本发明具有理解用户意图精准并且大大提升了学习者的学习专注度和效率的有益效果。