公开(公告)号：CN120047384A

公开(公告)日：2025-05-27

申请号：CN202411962735.2

申请日：2024-12-27

Applicant: OPPO广东移动通信有限公司 ,  浙江大学

Inventor： 杨智尧 ,  杨思鹏 ,  嵇嘉宇 ,  朱晴川 ,  金小刚

IPC: G06T7/00 ,  G06V20/40 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提供的基于深度学习的无参考渲染视频质量评估方法及系统，方法包括：步骤1：对视频数据进行分割并随机提取图像帧，构建特征序列获得图像质量分数；步骤2：将视频数据分割并进行运动估计获得第二视频子集；步骤3：对第二视频子集进行图像差分计算，再输入至预训练的图像差异检测器和多层感知机中，以获得反应视频时间稳定性的质量分数；步骤4、对质量分数综合评估获得最终评估得分。本发明从时域和空域上对视频质量进行综合评估，在无参考视频的情况下，针对渲染视频中容易出现的失真类型进行额外优化，有助于判断渲染画面的优劣，辅助用户在画质和渲染开销之间权衡，从而优化在不同平台的渲染画面设置。

公开(公告)号：CN118470448A

公开(公告)日：2024-08-09

申请号：CN202410535340.8

申请日：2024-04-30

Applicant: 浙江大学

Inventor： 曹紫荻 ,  杨思鹏 ,  金小刚

IPC: G06V10/766 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06V10/46 ,  G06N3/084 ,  G06N3/096

Abstract: 本发明公开了一种基于多视图和跨模态蒸馏的产品最佳视点快速选择方法和装置，属于多视图深度学习、跨模态蒸馏技术领域，包括：从产品3D数据中得到视点标签数据、多视图数据和3D点云数据；构建包含点云最佳视点回归网络和多视图最佳视点回归网络的最佳视点选择模型；将产品3D数据输入最佳视点选择模型得到最佳视点；利用视点标签数据和3D点云数据训练点云最佳视点回归网络得到3D结构信息；利用视点标签数据和多视图数据训练多视图最佳视点回归网络得到2D特征描述；利用跨膜态蒸馏使2D特征描述学习到3D结构信息，然后回归优化最佳视点，反向传播得到最终的最佳视点选择模型。本发明能够在少量输入视图下保持高精度的视点选择。

公开(公告)号：CN112016660B

公开(公告)日：2023-11-14

申请号：CN202010637118.0

申请日：2020-07-03

Applicant: 浙江大学

Inventor： 相伟 ,  姚心然 ,  金小刚

IPC: G06N3/006

Abstract: 本发明公开了一种物理力和数据联合驱动的三维集群行为模拟方法，包括步骤：(1)数据处理，得到三维集群的运动特征参考数据集；(2)仿真初始化；(3)实时集群行为仿真，提供通用的仿真框架，将基于力的模型与数据驱动技术有机结合，用不同优化函数建模智能体的不同行为，从真实数据中提取集群中个体的运动特征构建运动特征参考数据集，利用能量最小化的优化方式实时地从参考数据中估计集群中各智能体的运动状态，由此生成高保真的三维空间中运动的集群行为。本发明提供的三维集群行为模拟方法可以模拟各种各样的三维集群行为，可以生成高保真的仿真结果，可控性强，且具有高度可拓展性。

公开(公告)号：CN116958367A

公开(公告)日：2023-10-27

申请号：CN202310759183.4

申请日：2023-06-26

Applicant: 浙江大学

Inventor： 高新宇 ,  杨子逸 ,  赵云路 ,  金小刚

IPC: G06T15/00 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/09

Abstract: 本发明公开了一种快速组合并渲染复杂神经场景的方法，包括：根据收集的多个物体的不同视角下的2D图像，训练每个物体对应的神经辐射场模型以及神经辐射场模型相对应的神经深度场模型，准备数字资源；根据当前场景包含的每一个物体所对应的神经辐射场模型和神经深度场模型快速渲染组合的虚拟场景的结果。本发明采用神经辐射场模型和创新性的神经深度场模型相结合，支持在神经场景中进行点光源和平行光的动态阴影的投射。使用本方法，用户可以实现渐进式的物体插入和交互级速度的物体操作功能，从而为目标虚拟场景提供快速的结果预览，辅助神经场景的构建。

公开(公告)号：CN113223152B

公开(公告)日：2022-07-12

申请号：CN202110526094.6

申请日：2021-05-14

Applicant: 浙江大学

Inventor： 王露苑 ,  潘晓宇 ,  肖钦杰 ,  金小刚

IPC: G06T17/00

Abstract: 本发明公开了一种用于三维服装模型美观展示的自动姿势和褶皱迁移的方法，包括：利用参考源服装模型和参考目标服装模型的二维板片的语义信息在二者的二维板片之间建立顶点对应关系，然后映射到对应的三维模型上，得到参考源服装模型与参考目标服装模型之间的顶点约束集合：其中是参考源服装模型上的顶点，是参考目标服装模型上的顶点；通过设置Mcons为约束条件，执行正则化非刚性迭代最近点算法得到参考源服装模型与参考目标服装模型之间的逐三角形的对应关系；通过求解优化，将姿势和褶皱细节从源服装模型迁移到参考目标服装模型上。

公开(公告)号：CN111767648B

公开(公告)日：2022-04-29

申请号：CN202010570733.4

申请日：2020-06-19

Applicant: 浙江大学

Inventor： 韩逸 ,  金小刚

IPC: G06F30/20 ,  G08G1/01

Abstract: 本发明公开了一种基于简化的社会力模型的混合交通仿真方法，包括如下步骤：定义智能体基类，进一步从基类派生得到智能体类型；在仿真系统中输入包含智能体，道路边界信息以及障碍物信息的混合交通场景，设定每个智能体的智能体类型；将混合交通场景中任一个智能体的行为结果表征为不同交互作用力的组合，得到统一的合力表达式；根据统一的合力表达式，基于简化的社会力计算模型，结合智能体类型，计算每个智能体的受力情况；实时更新所有智能体的受力情况，结合具体的交通规则进行所述混合交通场景仿真。本发明所述的混合交通仿真方法简单高效地模拟不同智能体在交通中的动态行为，逻辑架构清晰明了，易于拓展集成更多不同类型的智能体。

公开(公告)号：CN113223188A

公开(公告)日：2021-08-06

申请号：CN202110538233.7

申请日：2021-05-18

Applicant: 浙江大学

Inventor： 唐祥峻 ,  孙文欣 ,  金小刚

IPC: G06T19/20 ,  G06T17/00

Abstract: 本发明公开了一种视频人脸胖瘦编辑方法，包括如下步骤：基于人脸视频重建三维人脸模型，并输出三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数；基于三维人脸胖瘦调整算法对三维人脸模型进行调整，并将调整结果迁移至每一帧，生成每一帧的形变三维人脸模型；使用有向距离场建立二维平面上形变前后的人脸边界的稠密映射，并基于三维人脸模型的结构调整所述稠密映射；基于所述稠密映射对人脸视频帧形变，并使用能量优化减少因形变造成的视频帧的背景扭曲，得到形变后的人脸视频帧，并将其对应替换回原人脸视频。本发明实现了自动生成符合所述胖瘦尺度的人脸视频，并且在被遮挡，长发，戴眼镜等情况下依旧能得到理想的结果。

公开(公告)号：CN113222875A

公开(公告)日：2021-08-06

申请号：CN202110610246.0

申请日：2021-06-01

Applicant: 浙江大学

Inventor： 徐梦迪 ,  金小刚

IPC: G06T5/50 ,  G06T5/40 ,  G06T5/00 ,  G06T7/90

Abstract: 本发明公开了一种基于色彩恒常性的图像和谐化合成方法，包括：将基于深度学习的粗调整网络模型和引入注意力机制的精细调整网络模型组成整体对抗生成网络，训练数据为包含成对真实图像和合成图像的公开图像数据集；以待调整的合成图像为原输入图像，获取灰度信息输入到粗调整网络模型中，输出图像光源色度的影响权重并据此估算光源颜色信息，对前景区域进行基于色彩平衡的调整得到粗糙和谐化的合成结果；利用精细调整网络模型，将粗调整的合成图像和对应掩码图通过转换相似的域特征得到色彩和谐的合成结果；通过高斯泊松方法结合精细调整的合成图像的颜色低频特征和原输入图像的梯度信息，共同优化生成和谐化合成图像。

公开(公告)号：CN112308957A

公开(公告)日：2021-02-02

申请号：CN202010983159.5

申请日：2020-09-17

Applicant: 浙江大学

Inventor： 肖钦杰 ,  唐祥峻 ,  吴优 ,  金乐阳 ,  金小刚

IPC: G06T17/00 ,  G06T19/20 ,  G06K9/00 ,  G06N3/04

Abstract: 本发明公开了一种基于深度学习的最佳胖瘦肖像图像自动生成方法，包括如下步骤：生成人脸肖像图像中二维人脸的三维人脸模型、人脸相关参数和纹理映射，所述的人脸相关参数包括人脸姿态参数；将所述人脸肖像图像输入到训练好的基于深度学习的人脸最佳胖瘦估计模型中，输出人脸的最佳胖瘦尺度；以输出的最佳胖瘦尺度为输入，根据三维人脸胖瘦调整算法，对三维人脸模型进行调整，生成最佳胖瘦三维人脸模型；根据人脸姿态参数，将带纹理的最佳胖瘦的三维模型投影到二维平面上，得到最佳胖瘦的人脸；通过前后背景融合算法，使最佳胖瘦的人脸无缝嵌入到人脸肖像图像中，得到最佳胖瘦人脸肖像图像。本发明可用于社交、动画、游戏等领域。

公开(公告)号：CN109993836B

公开(公告)日：2020-11-17

申请号：CN201910201300.9

申请日：2019-03-18

Applicant: 浙江大学

Inventor： 黄悦 ,  骆立康 ,  金小刚

IPC: G06T19/00 ,  G06T19/20 ,  G06T17/20

Abstract: 本发明公开了一种实现虚拟现实三维烟花形状可控的方法，包括步骤：读取用户使用手柄绘制的轨迹作为输入，依据轨迹形成二维多边形；对所得二维多边形进行受约束的Delaunay三角化处理，得到初始的二维三角网格；对二维三角网格进行脊线提取，依据脊线对二维三角网格进行双面抬高，膨胀为三维立体的三角网格；对得到的三维立体的三角网格进行粒子采样，得到一个粒子系统的参数集合，对所有粒子进行分级聚类，实现多级爆炸；使用粒子系统结合逆向动力学进行模拟，在虚拟现实环境中获得与用户绘制轨迹对应形状的烟花效果，实现虚拟现实三维烟花形状可控。上述方法在虚拟现实环境下实现了一套形状可控的虚拟三维烟花模拟系统。