公开(公告)号：CN103093490A

公开(公告)日：2013-05-08

申请号：CN201310047850.2

申请日：2013-02-02

Applicant: 浙江大学

Inventor： 周昆 ,  翁彦琳 ,  曹晨

IPC: G06T13/40 ,  G06T7/00

CPC classification number: G06T13/40 ,  G06K9/00281 ,  G06K9/00302 ,  G06K9/6207 ,  G06T7/251 ,  G06T2207/30201

Abstract: 本发明公开了一种基于单个视频摄像机的实时人脸动画方法，该方法利用单个视频摄像机，实时跟踪人脸特征点的三维位置，并以此参数化人脸的姿势和表情，最终可以将这些参数映射到替身上以驱动动画角色的脸部动画。本发明不需要高级的采集设备，只需要用户的普通视频摄像机上就可以达到实时的速度；本发明可以准确处理人脸各种大角度旋转、平移，和人脸的各种夸张表情；本发明还可以在不同光照和背景环境下工作，包括室内和有阳光的室外。

公开(公告)号：CN120032025A

公开(公告)日：2025-05-23

申请号：CN202510181072.9

申请日：2025-02-18

Applicant: 浙江大学

Inventor： 周昆 ,  翁彦琳 ,  李雨萌 ,  李林洲

IPC: G06T13/40 ,  G06T17/00 ,  G06T15/00 ,  G06T7/80 ,  G06T1/60 ,  G06T7/20 ,  G06N20/00

Abstract: 本发明提出了一种人体头部动态三维高斯模型的实时在线构建方法。该方法是通过三维高斯的批量渲染，能够大大提高训练吞吐量，使得模型达到几乎实时的收敛速率；另外设计了一种适用于在线建模的局部‑全局结合的数据样本采样算法，通过局部采样快速拟合新输入的训练样本，并使用全局采样缓解模型遗忘问题，从而达到与离线建模相近的重建质量。相比于之前的方法，本发明不需要任何预处理或后处理就可以实时在线构建三维高斯人脸模型。另外，在线建模可以在数据获取的同时给用户提供实时反馈，能够提供更好的用户体验。在重建后，模型即可用于合成新表情下的高保真人体头部动画；在电影、动画制作，网络游戏以及远程会议中可以广泛应用。

公开(公告)号：CN120032024A

公开(公告)日：2025-05-23

申请号：CN202510180876.7

申请日：2025-02-18

Applicant: 浙江大学

Inventor： 翁彦琳 ,  周昆 ,  马晟杰

IPC: G06T13/40 ,  G06T17/00 ,  G06T15/50 ,  G06T15/00 ,  G06T15/04 ,  G06T15/60 ,  G06V10/774 ,  G06V20/40 ,  G06V40/16 ,  G06T7/80 ,  G06T7/20 ,  G06T7/194 ,  G06N3/08

Abstract: 本发明公开了一种人体头部动态建模的可重光照的高斯混合形状方法，包括训练图像采集和预处理、网格混合形状的训练、高斯混合形状的训练、人体头部动画生成。可重光照的高斯混合形状表达包括网格混合形状和高斯混合形状；网格混合形状用于捕捉个体特征以及负责法线和可见性的计算；高斯混合形状负责着色和最终的图像渲染；两者均由一个表示中性表情的中性模型以及若干个对应于基本表情的基表情模型构成。任意表情的人体脸部和头部模型通过线性混合中性模型和基表情模型来高效生成。本发明在不降低绘制质量和运行速度的情况下，拓展了高斯混合形状表达，使之支持重照明应用，以更好地服务于电影、动画制作、网络游戏、远程会议等应用的制作。

公开(公告)号：CN118071909A

公开(公告)日：2024-05-24

申请号：CN202410242596.X

申请日：2024-03-04

Applicant: 浙江大学

Inventor： 周昆 ,  叶可扬 ,  侯启明

IPC: G06T15/00 ,  G06T15/50

Abstract: 本发明公开了一种基于延迟反射计算的高斯溅射方法。该方法利用三维高斯作为场景表达，并将每个三维高斯的最短轴方向视为其法向；对于给定视角，首先利用高斯溅射将颜色、法向与反射强度渲染为屏幕空间下的基本颜色图、法向图与反射强度图；再利用法向图计算每个像素的反射方向，并在一张环境光照图中查询对应的反射颜色，得到反射颜色图。反射颜色图与基本颜色图以反射强度图作为权重逐像素线性混合得到最终的渲染结果。与当前最先进的方法相比，本发明能合成出更高质量的镜面反射效果，并能更准确估计反射体表面法向与环境光照，且在训练时间与实时渲染速度上有着显著优势。

公开(公告)号：CN117808927A

公开(公告)日：2024-04-02

申请号：CN202311653799.X

申请日：2023-12-05

Applicant: 浙江大学

Inventor： 李雨萌 ,  丁尧相 ,  任重 ,  周昆

IPC: G06T11/60 ,  G06T7/73 ,  G06N3/088 ,  G06F40/126 ,  G06F40/166

Abstract: 本发明公开了一种支持多模态输入的3D姿态生成与编辑的方法，该方法是利用多头向量自编码器结构和全局‑局部特征融合结构，将人体姿态压缩进入表达力丰富且容易进行多模态融合的隐空间；在多头向量自编码器结构中将特征编码为离散向量，在全局‑局部特征融合结构中解耦了多个人体部位，同时通过一个全局特征对局部特征进行约束。基于这两个构架，构建了一套高自由度、高正确性、高可控性的显式人体姿态先验模型以及配套的多模态整合模型。本发明解决了人体姿态数据难以拆分和编码成表达能力丰富的离散向量的挑战，能够高效率、高质量地进行人体姿态编辑并赋能各类围绕人的AIGC场景，包括对虚拟数字人的驱动以及更高可控性的图片生成。

公开(公告)号：CN116823989A

公开(公告)日：2023-09-29

申请号：CN202310765902.3

申请日：2023-06-27

Applicant: 浙江大学

Inventor： 吴鸿智 ,  周昆 ,  康凯彰

IPC: G06T11/00 ,  G01N23/046 ,  G06T17/00 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出一种基于学习的断层扫描成像及重建方法，以光照复用的方式测量场景密度分布。成像时光源按照预学习得到的强度发出光线，来自不同方向的光线由场景吸收衰减后到达传感器，对测量值计算重建得到场景的密度信息。发光强度及重建算法由神经网络学习得到。该方法将CT成像过程建模为线性全连接层，权重对应于成像时光源的发光强度；重建算法建模为非线性神经网络，可根据扫描几何的特性针对性地优化。该方法所需的采集数据数量少，计算重建无需强先验假设，实现了高效高质量的CT采集重建，可应用于高速动态场景三维重建。

公开(公告)号：CN115375817A

公开(公告)日：2022-11-22

申请号：CN202211103881.0

申请日：2022-09-09

Applicant: 浙江大学

Inventor： 周昆 ,  耿佳豪 ,  陈嘉博 ,  任重

IPC: G06T15/00 ,  G06T15/50 ,  G06V10/762 ,  G06V10/764

Abstract: 本发明公开了一种人脸高光及粗糙度重建方法，本发明提出了先求区域均值，再该区域均值作为约束求该区域内逐像素值的方法。在自动划分人脸区域时，本发明运用kmeans算法进行人脸分块，采用不同属性的数据作为分类参数，使得材质数值相近的点被分在同一区块中。理论验证和实验结果证明，本发明解决了求解逐像素材质时所面临的欠约束问题，得到的结果能够经得起人造数据实验验证。本发明巧妙地增加约束，创造性地解决求解高光与粗糙度贴图时的欠约束难题，可以通过消费者级的硬件获得物体的高光及粗糙度，也可以适用于各种不同复杂物体高光及粗糙度的重建，运用在虚拟现实场景中，应用空间巨大，具有较高普适性。

公开(公告)号：CN115034381A

公开(公告)日：2022-09-09

申请号：CN202210579759.4

申请日：2022-05-25

Applicant: 浙江大学 ,  杭州相芯科技有限公司

Inventor： 周昆 ,  吴鸿智 ,  任重 ,  马晟杰

IPC: G06N3/08 ,  G06N3/04 ,  G06T3/00 ,  G06T13/20 ,  G06T15/04

Abstract: 本发明公开了一种基于多分辨率网络结构的神经绘制方法，该方法首先拍摄待建模对象在不同视角和光照下的图像，得到相机参数及光源位置、代理几何及神经纹理、前景抠图、辐射度线索和UV图数据，用于搭建和训练神经渲染管线模型，最后拍摄指定相机参数和光照条件下的图像，处理并得到辐射度线索和UV图，用神经渲染管线模型合成新图像或动画。本发明与传统的神经网络相比，显式地拆分了不同的空间频率成分，使得合成图像序列在时域上有更好的稳定性；本发明解决了传统方法混杂编码不同频率成分导致的高频丢失问题，使得合成图像保留了更多的细节纹理，达到了更高的保真度。

公开(公告)号：CN113298936A

公开(公告)日：2021-08-24

申请号：CN202110608598.2

申请日：2021-06-01

Applicant: 浙江大学

Inventor： 任重 ,  於航 ,  翁彦琳 ,  周昆

IPC: G06T17/00 ,  G06T15/00

Abstract: 本发明公开了一种基于深度学习的多RGB‑D全脸材质恢复方法。本发明包括基于图像的人脸材质信息估计和基于可微分渲染的梯度优化两个步骤。步骤1首先对几何和纹理数据进行预处理，生成一个包含全脸皮肤部分的掩膜；然后构建纹理估计模块和光照估计模块，生成仿真训练数据集；最后利用材质纹理和光照估计模块与仿真训练数据集获得纹理信息和光照系数的初值。步骤2首先处理扫描几何数据，然后拓展实现全脸渲染方程；再改进损失函数获得优化结果；最后针对特殊区域进行细节优化。本发明能够拓展人脸材质恢复技术的数据范围，并提高材质恢复技术的优化效果。

公开(公告)号：CN108924528B

公开(公告)日：2020-07-28

申请号：CN201810576245.7

申请日：2018-06-06

Applicant: 浙江大学

Inventor： 任重 ,  倪朝浩 ,  周昆

IPC: H04N13/122 ,  G06N3/06

Abstract: 本发明公开了一种基于深度学习的双目风格化实时渲染方法，该方法首先对固定风格训练一个图像转换网络；在运行时，将该网络分解为编码器和解码器部分；渲染时，通过三维场景渲染出原始图像，视差图，运动场等信息；并通过基于图像转换网络的后处理进行风格化，从而渲染出完整双目动画。相比与独立帧直接风格化法，该方法可以大大减少视觉闪烁和瑕疵；相比与基于最优化的方法，效率提高了两个数量级。