基于模板的GPU高性能张量缩并方法

    公开(公告)号:CN115203634A

    公开(公告)日:2022-10-18

    申请号:CN202210343327.3

    申请日:2022-03-31

    Abstract: 本发明公开了一种基于模板的GPU高性能张量缩并方法,首先由用户定义张量缩并,对其索引与维度进行分类,得到四个索引序列和四个维度序列;然后对其进行降维,得到访存函数与隐式维度,再定义占位符,并根据BLAS库实现与优化方法编写计算模板,然后进行编译期的模板派发,将访存函数和隐式维度代入选定计算模板的占位符,生成CUDA C/C++代码,并编译为可重复使用的可执行程序,最后输入各张量的数据,以及各维度的具体值,完成计算。本发明可以以有限的一组模板支持任意的张量缩并;在保持易用的前提下,系统性能仍然接近甚至超过手动优化的cuBLAS、cuDNN等计算库。

    一种高维材质的自由式采集方法

    公开(公告)号:CN113362466B

    公开(公告)日:2022-06-21

    申请号:CN202110634121.1

    申请日:2021-06-07

    Applicant: 浙江大学

    Abstract: 本发明公开了一种高维材质的自由式采集方法,属于计算机图形学和计算机视觉领域,本方法提出将材质信息的学习转化为非结构化点云上的几何学习问题,将多个处于不同光照及观察方向下的采集结果组成高维点云,点云中的每个点为图像测量值和图像拍摄时物体的位姿信息组成的向量,本方法可以从无序、非规则、分布不均匀且精度受限的高维点云中有效地聚合非结构化视图的信息,恢复出高质量的材质属性。

    一种基于深度学习的欧拉视频颜色放大方法

    公开(公告)号:CN112929622A

    公开(公告)日:2021-06-08

    申请号:CN202110162958.0

    申请日:2021-02-05

    Applicant: 浙江大学

    Inventor: 任重 周昆 邹锦爽

    Abstract: 本发明公开了一种基于深度学习的欧拉视频颜色放大方法,包括获得颜色放大网络和调用颜色放大网络两个步骤。首先合成一个模拟微小颜色变化图片数据集,并在该数据集上训练一个由空间分解、差分滤波、放大处理、图像重建四个模块构建的颜色放大网络;在运行时,对FIR带通滤波器进行优化,并将其替换网络的差分滤波模块。步骤二根据给定输入视频进行颜色放大处理时,先将视频分解为帧序列,通过调用颜色放大网络生成颜色放大帧序列,最后合成颜色放大视频。相比线性放大方法,本发明方法步骤一采用深度学习模型,训练过程自动化,免去了繁琐的人工设计;步骤二的处理,大大减少了噪声,在动态场景下不会产生伪影,增强了放大效果。

    一种基于点的实时三维重建与优化方法

    公开(公告)号:CN112862736A

    公开(公告)日:2021-05-28

    申请号:CN202110162947.2

    申请日:2021-02-05

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于点的实时三维重建与优化方法,本发明将RGB‑D相机采集到的深度和颜色数据作为输入,使用基于点的表示方法来实时重建三维物体,同时利用颜色信息优化模型中每个点的位置和法向,以此得到高质量的三维模型。本发明扩展并改进了现有基于点的实时重建方法,并且在非结构化的点云数据上构建逆渲染问题,提出了针对点云的能量函数,能够同时优化每个点的位置、法向以及反照率。另外,根据每个点的状态和更新时间等信息选择不同的处理方式,从而有效地减少每次优化的参数数量。相比于现有的实时重建方法,本发明方法能够在实时重建物体的同时,让重建模型保留更多的高质量几何细节,具有更高的应用价值。

    基于神经网络的三维物体法向量、几何及材质获取方法

    公开(公告)号:CN110570503B

    公开(公告)日:2021-04-16

    申请号:CN201910829629.X

    申请日:2019-09-03

    Abstract: 本发明公开了一种基于神经网络的三维物体法向量、几何及材质获取方法,本发明在“对物体主动照射若干特定的图案,同时采集照片,通过对所得照片计算来获得物体法向量”的思想上,给出了一个结合神经网络的获取方法。进一步地,该方法将获得的法向量用于优化物体的模型。该方法还可在获取法向量的同时,获取材质特征信息。最终联合得到高质量的几何及材质采集结果。使用该方法得到的光照图案数量少,所获取的法向量精度高且该方法不限于某一特定的采集设备。

    一种基于神经网络的材质获取方法和系统

    公开(公告)号:CN108985333B

    公开(公告)日:2020-10-23

    申请号:CN201810623164.8

    申请日:2018-06-15

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于神经网络的材质获取方法和系统,该方法包括训练阶段和采集阶段;训练阶段首先得到采集设备的参数,生成模拟实际的摄像机采集结果的合成材质数据作为训练数据;然后根据合成训练数据训练神经网络;采集阶段首先按照训练得到的光照图案依次对目标物体进行照射,获得一组照片,然后依次遍历照片的像素和通道,组成一个向量并送入恢复网络得到材质信息。本发明极大地减少了材质采集所需时间,且具有较高采集质量;采集条件为近场光,采集对象为各向异性材质,为该领域最复杂的情况,且本发明方法仅需少量照片。任何使用光照图案思想的采集设备都可以利用本发明的方法,针对性地训练网络,提高高质量材质信息的采集效率。

    基于神经网络的三维物体法向量、几何及材质获取方法

    公开(公告)号:CN110570503A

    公开(公告)日:2019-12-13

    申请号:CN201910829629.X

    申请日:2019-09-03

    Abstract: 本发明公开了一种基于神经网络的三维物体法向量、几何及材质获取方法,本发明在“对物体主动照射若干特定的图案,同时采集照片,通过对所得照片计算来获得物体法向量”的思想上,给出了一个结合神经网络的获取方法。进一步地,该方法将获得的法向量用于优化物体的模型。该方法还可在获取法向量的同时,获取材质特征信息。最终联合得到高质量的几何及材质采集结果。使用该方法得到的光照图案数量少,所获取的法向量精度高且该方法不限于某一特定的采集设备。

    一种从单幅图像生成人脸动画的方法

    公开(公告)号:CN109448083B

    公开(公告)日:2019-09-13

    申请号:CN201811148661.3

    申请日:2018-09-29

    Inventor: 周昆 耿佳豪

    Abstract: 本发明公开了一种从单幅图像生成人脸动画的方法。该方法主要分为四个步骤:图像中人脸特征点生成、图像全局二维形变、人脸区域细节的优化、口腔区域纹理的生成。本发明可以根据人脸特征点变化实时地生成人脸动画,动画质量达到当前最先进的人脸图像动画技术的水平。本发明可以用在一系列应用中,如人脸图像编辑,基于单幅图像的肖像动画生成,以及视频中人脸表情的编辑。

    一种基于深度学习的双目风格化实时渲染方法

    公开(公告)号:CN108924528A

    公开(公告)日:2018-11-30

    申请号:CN201810576245.7

    申请日:2018-06-06

    Applicant: 浙江大学

    Inventor: 任重 倪朝浩 周昆

    Abstract: 本发明公开了一种基于深度学习的双目风格化实时渲染方法,该方法首先对固定风格训练一个图像转换网络;在运行时,将该网络分解为编码器和解码器部分;渲染时,通过三维场景渲染出原始图像,视差图,运动场等信息;并通过基于图像转换网络的后处理进行风格化,从而渲染出完整双目动画。相比与独立帧直接风格化法,该方法可以大大减少视觉闪烁和瑕疵;相比与基于最优化的方法,效率提高了两个数量级。

    一种基于深度学习的双目动画风格化渲染方法

    公开(公告)号:CN108769644A

    公开(公告)日:2018-11-06

    申请号:CN201810576526.2

    申请日:2018-06-06

    Applicant: 浙江大学

    Inventor: 任重 倪朝浩 周昆

    Abstract: 本发明公开了一种基于深度学习的双目动画风格化渲染方法,解决了双目动画内容风格化的问题。该方法将渲染过程分成两层,第一层渲染原始图像,视差图,运动场,遮挡图等场景信息,第二层基于CNN进行后处理优化。后处理层使用贪心法局部最小化一个全新的损失函数。每帧画面都通过梯度下降法求解时序子问题和视差子问题来得到,保持了渲染出的动画满足时序一致性和视差一致性。相比与独立帧直接风格化法,该方法可以大大减少视觉闪烁和瑕疵,并增强了双目显示时的立体感。

Patent Agency Ranking