-
公开(公告)号:CN108564642A
公开(公告)日:2018-09-21
申请号:CN201810217894.8
申请日:2018-03-16
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及图像处理领域,提出了一种基于UE引擎的无标记表演捕捉系统,旨在解决同时捕捉表演者的动作与表情以生成角色动画方法中,标记点对表演者造成侵入感,使表演受到干扰的问题。该系统包括:面部表演捕捉模块,配置为采集表演者的面部图像数据,并根据上述面部图像数据计算上述表演者的面部表情的权重参数;动作表演捕捉模块,配置为采集上述表演者的骨骼图像数据,并根据上述骨骼图像数据确定上述表演者的人体姿态参数;动画生成模块,配置为根据上述面部表情的权重参数和上述人体姿态参数,利用UE图形程序生成角色3D模型的动作和表情。本发明实现了表演者动作和表情的捕捉,并根据动作和表情数据赋予虚拟角色真实合理的动作与生动的表情。
-
公开(公告)号:CN108564641A
公开(公告)日:2018-09-21
申请号:CN201810217893.3
申请日:2018-03-16
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于计算机视觉技术领域,具体涉及一种基于UE引擎的表情捕捉方法及装置。旨在解决现有技术根据捕捉到的面部表情数据输出表情动画格式不通用的问题。本发明提供一种基于UE引擎的表情捕捉方法,包括根据预先构建的基础表情模型识别用户表情;计算用户表情的表情权重参数,并将其转换为预先构建的虚拟角色的表情权重参数;将虚拟角色的表情权重参数输入UE虚拟引擎,UE虚拟引擎渲染输出虚拟角色的表情。本发明的UE虚拟引擎能够通过预先设置的表情转换对应关系输出虚拟角色的表情,从而可以实现实时编辑面部表情动画,为后期开发制作提供了便利。
-
公开(公告)号:CN105654537B
公开(公告)日:2018-09-21
申请号:CN201511021376.1
申请日:2015-12-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明公开了一种实现与虚拟角色实时互动的表情克隆方法及装置,该方法涉及计算机图形学、虚拟现实等领域,包括以下步骤:一、对虚拟角色建模并绑定骨骼;二、建立虚拟角色的基础表情库;三、表情输入的训练,记录面部特征点在每个基础表情下的最大位移;四、表情追踪,通过运动捕捉设备,对真人面部表情变化进行录制,计算得到基础表情的权值;五、表情映射,将得到的基础表情权值实时传递给虚拟角色,并对相应骨骼旋转插值;六、虚拟角色表情的实时渲染输出。该方法能够快速、稳定、逼真地合成出虚拟角色表情,使得虚拟角色能够与真人实时而稳定的表情互动。
-
公开(公告)号:CN106600668A
公开(公告)日:2017-04-26
申请号:CN201611144592.X
申请日:2016-12-12
Applicant: 中国科学院自动化研究所
CPC classification number: G06T13/40 , G06T19/006
Abstract: 本发明公开了一种与虚拟角色进行互动的动画生成方法、装置及电子设备。所述方法包括:建立深度Q‑值网模型,并对所述深度Q‑值网络模型进行训练;将真实空间中的真实角色及其手持武器映射到虚拟空间;其中,虚拟空间包括真实角色及其手持武器对应的几何实体以及与所述真实角色进行互动的虚拟角色对应的几何实体;将当前帧中真实角色及其手持武器的当前状态、虚拟角色的当前状态作为所述深度Q‑值网络模型的输入,由所述深度Q‑值网络模型根据所述当前状态确定虚拟角色下一帧的抵挡动作,进而生成当前帧动画。该方法能够实时自动地生成虚拟角色的角色动画,该动画能够基于真人运动捕捉数据,做出实时的反馈,抵挡来自真人的攻击动作。
-
公开(公告)号:CN103279982B
公开(公告)日:2016-06-22
申请号:CN201310196737.0
申请日:2013-05-24
Applicant: 中国科学院自动化研究所
Abstract: 本发明公开了一种鲁棒的快速高深度分辨率的散斑三维重建的方法,包括如下步骤:读入场景散斑图像;采用分块的方法,初步估计场景图像各区域的大约纵深值,对与所述参考图像库中的参考图像的相关值高于相关阈值的区域直接用该参考图像的深度值作为该区域的深度值;逐点计算场景图像中各点与所述参考图像库中的参考图像对应点的相关值,并获得最大相关值对应的最大相关参考图像上对应点及其多个邻域点的相关值以及所述多个邻域点的位移值;利用所述参考图像对应点及其多个邻域点的相关值以及所述多个邻域点的位移值进行横向插值和纵向插值,并融合插值结果,得到场景图像中所述各点的精确的深度值,进而得到鲁棒的高深度分辨率的三维重建结果。
-
公开(公告)号:CN103559721B
公开(公告)日:2016-02-03
申请号:CN201310601251.0
申请日:2013-11-25
Applicant: 中国科学院自动化研究所
IPC: G06T7/00
Abstract: 本发明公开了一种基于图像梯度的三角剖分快速图像融合方法。该方法包括:在源图像中勾勒出需要复制到目标图像中的图像块(Source patch),根据图像块的梯度对图像块进行聚类分块,计算每块的聚类中心点;根据源图像和目标图像在图像块边界线处的梯度差,计算边界线的采样点,形成对图像块的三角剖分,根据边界采样点的颜色差值来计算图像块中三角形顶点的颜色差值,通过硬件插值的方式计算三角型内部各个像素点的颜色差值,从而得到融合后的图像颜色值。本发明能快速地将图像块与目标图像融合,减弱颜色差异。
-
公开(公告)号:CN104916184A
公开(公告)日:2015-09-16
申请号:CN201510331391.X
申请日:2015-06-16
Applicant: 中国科学院自动化研究所 , 中国科学院浙江数字内容研究院
CPC classification number: G09B23/28
Abstract: 本发明公开一种面向术前培训的虚拟手术模拟训练系统及其训练方法,包括1个主节点和多个与主节点同步通讯连接的子节点,其中,所述主节点和子节点均包括力触觉交互装置、软组织削切仿真模块和真实感实时绘制模块,通过主力触觉交互装置、主软组织削切仿真模块和主真实感实时绘制模块记录主节点上培训的虚拟手术操作过程,实时地将医师的手术操作映射到各个子节点中,通过子节点上的子力触觉交互装置让受培训医生感受到手术过程。同时采用一种模型的差分编码算法,使各个子节点能够快速的得到三维手术模型。避免在病人身上训练高难度的手术,缩短受训医生的学习曲线和训练成本,促进手术软组织切割技术的普及和提高。
-
公开(公告)号:CN104867176A
公开(公告)日:2015-08-26
申请号:CN201510220736.4
申请日:2015-05-05
Applicant: 中国科学院自动化研究所 , 中国科学院浙江数字内容研究院
IPC: G06T15/10 , G06T13/00 , G06F9/455 , G06F3/0484 , G06F3/0487
Abstract: 本发明公开了一种基于Cryengine的互动式虚拟演绎系统,包括虚拟演绎数字内容生成模块、基于Cryengine的虚拟演绎实时虚拟仿真模块以及虚拟演绎智能互动模块,本发明所述的互动式虚拟演绎系统实现了一种新的演绎形式,使用计算机来模拟虚拟演绎的全部过程,并通过各种技术手段来实现虚拟演绎与观众的实时互动。本发明所提供的互动式虚拟演绎系统突破了传统演绎形式在空间和时间上的限制,拓宽了舞台表演的形式和内容,提供了舞台演绎新兴业态的基础。
-
公开(公告)号:CN102609934B
公开(公告)日:2014-04-23
申请号:CN201110435843.0
申请日:2011-12-22
Applicant: 中国科学院自动化研究所
CPC classification number: G06K9/3241 , G06K9/00208 , G06T7/11 , G06T7/194 , G06T7/254
Abstract: 本发明公开了一种基于深度图像的多目标分割和跟踪的方法,属于图像处理、模式识别和计算机应用等领域,该方法包括:采集深度图像;背景建模更新;背景发现;判断是否首次发现前景,若是首次发现前景,则进行目标分割;若不是首次发现前景,则进行目标动态跟踪;判断是否有数据输入,若有数据输入,则取新数据重新进行背景建模更新,若没有则结束。通过高效的目标分割处理和目标动态跟踪处理,有效的提高了目标识别及跟踪的可靠性,为进一步图像分析、动态建模、三维人机交互等后续处理提供了准备信息。
-
公开(公告)号:CN103559737A
公开(公告)日:2014-02-05
申请号:CN201310560596.6
申请日:2013-11-12
Applicant: 中国科学院自动化研究所
Abstract: 本发明公开了一种对象全景建模方法,其包括如下步骤:步骤1、由单视角三维获取设备拍摄得到当前帧深度及彩色图像,并根据深度图像进行区域分割,得到该深度图像中的目标区域,并对目标区域进行相应的去噪处理之后将其转化成顶点图和法向图;步骤2、对所述深度图像利用迭代最近邻点算法,通过计算其与前一帧深度图像之间的矩阵变换关系,标定出其在全局坐标系中的位置;步骤3、根据所标的在全局坐标系中的位置,将所述深度图像重构成三维模型;步骤4、结合所述全局坐标以及深度图像与彩色图像之间的校正关系将所述彩色信息融入所述三维模型中,转步骤1进行下一帧图像的处理。本发明能够利用单视角三维获取设备对物体实现实时的三维全景建模。
-
-
-
-
-
-
-
-
-