一种基于深度学习和多目立体视觉的人脸重建方法

    公开(公告)号:CN118279485A

    公开(公告)日:2024-07-02

    申请号:CN202410367475.8

    申请日:2024-03-28

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于深度学习和多目立体视觉的人脸重建方法,该方法将传统的多目视角重建方法分解为在低分辨率下运行的基于深度学习的重建以及基于低分辨率结果和高分辨率图像的增强两个步骤,可以较短时间内重建出高精度、高分辨率、语义对齐的人脸几何以及人脸材质。本发明的几何重建和材质重建基于深度学习,从低分辨率多视角图像获得快速的重建结果;几何细化则基于传统多目视觉重建改进,在快速重建的基础上进一步利用高分辨率图像获得高精度、高分辨率结果;材质增强则进一步提升材质重建的精度和分辨率。本发明能够在数十秒内重建亚毫米级人脸几何以及2K分辨率的高质量人脸材质。

    一种适用于人体头部动态建模的高斯混合形状方法

    公开(公告)号:CN118135655A

    公开(公告)日:2024-06-04

    申请号:CN202410256347.6

    申请日:2024-03-06

    Abstract: 本发明公开了一种适用于人体头部动态建模的高斯混合形状方法,高斯混合形状由一个表示中性表情的中性高斯模型,以及若干个对应于多个基本表情的基表情高斯模型构成。每一个高斯模型均包括一组具有位置、形状、颜色等信息的三维高斯函数。任意表情的人体脸部和头部模型通过线性混合中性高斯模型和基表情高斯模型来高效生成。训练图像采集和预处理、高斯混合形状的训练、人体头部动画生成。本发明具有更高的绘制质量,能保留人体头部更多高频细节,提升绘制的真实感和保真度;且具有更快的运行速度,比当前最先进方法快五倍以上。因此,本发明可以广泛应用于电影、动画制作,网络游戏、远程会议等应用中,具有很高的实用价值。

    一种CAD楼层结构识别和辅助元素自动添加方法

    公开(公告)号:CN117272441A

    公开(公告)日:2023-12-22

    申请号:CN202310716216.7

    申请日:2023-10-19

    Abstract: 本发明公开了一种CAD楼层结构识别和辅助元素自动添加方法。本发明从cad图纸中读取各类离散图形实体元素,根据元素所在图层,确定其土木结构语义,自动将多列、多行的楼层进行划分,并封装进独立的数据结构处理,之后对该数据结构中的所有数据进行进一步分析,分析单层的结构,并根据分析结果根据用户输入自动添加面层、斜面、滴水和标注等元素,并将标注放置在易读的位置,从而提高了效率、减少了错误和不一致性。此外,本发明可以适用于各种主要墙体类型,具有广泛的适用性。

    一种基于路径跟踪的声波直边衍射计算方法

    公开(公告)号:CN117076827A

    公开(公告)日:2023-11-17

    申请号:CN202211559278.3

    申请日:2022-12-06

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于路径跟踪的声波直边衍射的计算方法。该方法将凸直边衍射表示为几何体直边上径向函数的积分,并使用路径跟踪方法计算该积分,从而实现了路径跟踪框架下的高效直边衍射计算。此外,本发明针对上述衍射计算方法提出了一系列配套的优化技术,以提高计算结果的质量,减少计算结果的资源消耗。实验结果表明,本发明的方法在简单场景下的结果与凸直边衍射的精确解相符,在大型复杂场景下,该方法可以接近实时的速度向用户提供衍射模拟结果。

    针对单视角下几何和材质高精度采集的结构光方法

    公开(公告)号:CN116363187A

    公开(公告)日:2023-06-30

    申请号:CN202310400256.0

    申请日:2023-04-14

    Abstract: 本发明公开了一种针对单视角下几何和材质高精度采集的结构光方法,本发明通过引入LCD掩膜的渲染方程进行光场模拟,通过结构光的方式进行几何信息的编码,并采用最近邻搜索算法进行解码,获取物体的几何信息;通过光路复用的方式进行物体材质信息的编码,并基于材质模式下拍摄的图像和所获取的几何信息执行可微分优化,获取物体的材质信息。本发明将两种基于主动光的采集方法相结合,并实现了高效的编解码方案,从而解决了共同采集单视角下静态物体几何信息和材质信息的难题。本发明采集精度高,具有优秀的泛化能力。

    一种基于深度学习的多RGB-D全脸材质恢复方法

    公开(公告)号:CN113298936B

    公开(公告)日:2022-04-29

    申请号:CN202110608598.2

    申请日:2021-06-01

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于深度学习的多RGB‑D全脸材质恢复方法。本发明包括基于图像的人脸材质信息估计和基于可微分渲染的梯度优化两个步骤。步骤1首先对几何和纹理数据进行预处理,生成一个包含全脸皮肤部分的掩膜;然后构建纹理估计模块和光照估计模块,生成仿真训练数据集;最后利用材质纹理和光照估计模块与仿真训练数据集获得纹理信息和光照系数的初值。步骤2首先处理扫描几何数据,然后拓展实现全脸渲染方程;再改进损失函数获得优化结果;最后针对特殊区域进行细节优化。本发明能够拓展人脸材质恢复技术的数据范围,并提高材质恢复技术的优化效果。

    一种基于单张照片的人物浅浮雕模型生成方法

    公开(公告)号:CN113379890B

    公开(公告)日:2022-04-19

    申请号:CN202110436097.0

    申请日:2021-04-22

    Inventor: 周昆 陈翔 杨振杰

    Abstract: 本发明公开了一种基于单张照片的人物浅浮雕模型生成方法。该方法基于输入照片构建3D人体骨架,并通过3D骨架层来解析复杂的人体自遮挡和相互遮挡关系,构建3D人体引导模型。本发明还提出了一种基于轮廓匹配的形变算法,使得生成的低频基础形状模型与图像空间准确对齐,并在此基础上将低频基础形状模型与图像中的高频细节特征进行融合,从而得到浅浮雕模型。本发明的交互方式简单、直接、高效,可以使普通用户快速地从自己拍摄的照片或网络照片中构建出人体浅浮雕模型。本发明适用于各种不同的单人或多人照片,具有较高普适性和稳定性。理论分析和实验结果表明,本发明生成的浅浮雕模型3D视觉感知逼真,极具实用性和应用前景。

    一种语音信号驱动的脸部动画生成方法

    公开(公告)号:CN111243065B

    公开(公告)日:2022-03-11

    申请号:CN201911366799.5

    申请日:2019-12-26

    Abstract: 本发明公开了一种语音信号驱动的脸部动画生成方法,该方法主要分为六个步骤:提取语音特征、收集频率信息、汇总时间信息、解码动作特征、驱动脸部模型以及滑动信号窗口。本发明可以根据输入的语音音频信号,在一定延时下实时地驱动任意脸部模型,生成动画;动画质量达到当前最先进的语音动画技术水平,并且有轻量化、鲁棒性好的特点。本发明可以用于生成不同场景下的语音动画,如VR虚拟社交、虚拟语音助手以及游戏。

    一种高维材质的自由式采集方法

    公开(公告)号:CN113362466A

    公开(公告)日:2021-09-07

    申请号:CN202110634121.1

    申请日:2021-06-07

    Applicant: 浙江大学

    Abstract: 本发明公开了一种高维材质的自由式采集方法,属于计算机图形学和计算机视觉领域,本方法提出将材质信息的学习转化为非结构化点云上的几何学习问题,将多个处于不同光照及观察方向下的采集结果组成高维点云,点云中的每个点为图像测量值和图像拍摄时物体的位姿信息组成的向量,本方法可以从无序、非规则、分布不均匀且精度受限的高维点云中有效地聚合非结构化视图的信息,恢复出高质量的材质属性。

    一种基于深度学习的双目动画风格化渲染方法

    公开(公告)号:CN108769644B

    公开(公告)日:2020-09-29

    申请号:CN201810576526.2

    申请日:2018-06-06

    Applicant: 浙江大学

    Inventor: 任重 倪朝浩 周昆

    Abstract: 本发明公开了一种基于深度学习的双目动画风格化渲染方法,解决了双目动画内容风格化的问题。该方法将渲染过程分成两层,第一层渲染原始图像,视差图,运动场,遮挡图等场景信息,第二层基于CNN进行后处理优化。后处理层使用贪心法局部最小化一个全新的损失函数。每帧画面都通过梯度下降法求解时序子问题和视差子问题来得到,保持了渲染出的动画满足时序一致性和视差一致性。相比与独立帧直接风格化法,该方法可以大大减少视觉闪烁和瑕疵,并增强了双目显示时的立体感。

Patent Agency Ranking