公开(公告)号：CN116416680A

公开(公告)日：2023-07-11

申请号：CN202310382286.3

申请日：2023-04-06

Applicant: 济南大学

Inventor： 吕娜 ,  张继进 ,  彭京亮

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明属于动作捕捉数据恢复领域，提供了一种人体动作捕捉数据恢复方法及系统，包括获取动作捕捉数据矩阵，所述动作捕捉数据矩阵由顺序排列的帧组成；基于线性投影将动作捕捉数据矩阵中的每一帧数据映射到高维特征空间，并将空间位置信息嵌入到该帧数据中，得到高维单帧数据；并利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征，得到高维单帧空间特征；将时间信息嵌入到动作捕捉数据矩阵的所有高维单帧空间特征中，利用自注意力机制获取高维单帧空间特征之间相关性的时间特征，得到时空间动作捕捉数据矩阵；基于时空间动作捕捉数据矩阵，利用多层感知机还原完整的动作捕捉数据。

公开(公告)号：CN110362210B

公开(公告)日：2022-10-11

申请号：CN201910670994.0

申请日：2019-07-24

Applicant: 济南大学

Inventor： 杨晓晖 ,  察晓磊 ,  徐涛 ,  冯志全 ,  吕娜 ,  范雪

IPC: G06F3/01 ,  G06V40/20 ,  G06V40/10 ,  G06V40/18 ,  G06V10/764

Abstract: 本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置，根据获取到眼动数据，进行注视点跟踪；根据获取的手势信息，进行手势的识别，对得到的手势识别数据和眼动数据进行标注，构成训练集，构建多流卷积神经网络‑长短期记忆网络模型，所述网络模型利用训练集进行自我学习；将训练得到的最优网络模型应用在虚拟装配过程，获取虚拟装配过程的眼动数据和手势信息，提取眼动与手势特征，根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题，并利用深度学习算法的优势，以较高的准确率识别视频中操作人员的行为，完成虚拟装配任务，实现人机交互。

公开(公告)号：CN106341676B

公开(公告)日：2017-06-16

申请号：CN201610865067.0

申请日：2016-09-29

Applicant: 济南大学

Inventor： 杨晓晖 ,  冯志全 ,  唐好魁 ,  徐涛 ,  蒋彦 ,  吕娜

IPC: H04N13/00 ,  H04N19/597

Abstract: 本发明公开了基于超像素的深度图像预处理和深度空洞填充方法，包括以下步骤：步骤一：待处理的深度图像的超像素分割：对于该待处理的深度图像对应的彩色图像进行超像素分割，然后利用彩色图像的分割结果对该待处理的深度图像进行分割；步骤二：基于超像素的深度图像预处理；步骤三：虚拟视点深度图像超像素分割：利用待处理的深度图像对应的彩色图像和预处理后的深度图像进行三维变换，生成虚拟视点初始彩色图像和虚拟视点初始深度图像，对虚拟视点初始深度图像进行超像素分割；步骤四：虚拟视点深度图像填充。本发明采用基于超像素的深度图像预处理和基于超像素的深度空洞处理，空洞填充准确性较高，计算量较小，有利于视点合成的实时实现。