-
公开(公告)号：CN117953137B
公开(公告)日：2024-06-14
申请号：CN202410353427.3
申请日：2024-03-27
Applicant: 哈尔滨工业大学(威海)
Abstract: 本发明公开了一种基于动态表面反射场的人体重光照方法，包括以下步骤：将4D空间利用多平面及哈希表示进行分解，对多视角动态人体视频编码得到紧凑的时空位置编码；得到光线采样点的符号距离函数值、几何特征及颜色值；得到对应像素的深度、法向、颜色及材质；建模直接光照、光线可见性及间接光照；同时约束渲染图像，学习模型参数，得到动态人体重光照视频。本发明通过设计高效的4D隐式表示对人体表面反射场进行建模，克服了基于模板的方法中固有的拟合误差大和较低的运动自由度的问题，实现准确的动态人体表面反射场的估计。光照建模中通过光线追踪引入可见性及间接光，精准地模拟了二次弹射的着色效果，实现更准确的材质解算和重光照效果。
-
公开(公告)号：CN117974867B
公开(公告)日：2024-06-21
申请号：CN202410381197.1
申请日：2024-04-01
Applicant: 哈尔滨工业大学(威海)
IPC: G06T15/00 , G06V20/40 , G06V40/16 , G06V10/774 , G06V10/82
Abstract: 一种基于高斯点渲染的单目人脸化身生成方法，包括以下步骤：从单目人像视频中提取FLAME的表情参数和姿态参数；定义初始化空间、标准空间、形变空间；从点在形变空间与初始化空间的位置信息，获取点在形变空间中的高斯参数；将点在形变空间中的高斯参数输入渲染器，并渲染图像；将渲染图像与输入单目人像视频做图像损失，通过最小化该约束进行训练；每次训练迭代中加入增删点策略以实现点数增加；通过驱动视频对训练好的特定人物化身进行驱动。本发明设计迭代优化的策略，以及高斯点云的增删点策略，利用高斯抛雪球渲染器的渲染速度和渲染质量，通过预训练的线性混合蒙皮函数引导高斯参数网络和点的形变网络的训练，提高人像化身的生成质量。
-
公开(公告)号：CN118015162B
公开(公告)日：2024-06-14
申请号：CN202410425334.7
申请日：2024-04-10
Applicant: 哈尔滨工业大学(威海)
IPC: G06T13/40 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于语音韵律学分解的三维数字人头部动画生成方法，包括以下步骤：通过语言内容、风格和基础频率编码器分别提取音频中的三者相关的潜在变量；通过周期位置编码获得额外的时序信息，使用跨模态偏差多头自注意力模块增强对于长动作序列的泛化性能；计算跨模态的对齐偏差并通过多头注意力模块对齐多模态信息，实现三维数字人头部动画中的唇部动作生成；通过基于Transformer的动作变分自编码器将唇部动作序列映射到低维潜在空间，设计条件概率扩散模型实现基于基础频率的三维数字人头部动画中的头部动作生成。本发明更加深层次挖掘了语音中韵律部分同唇部动作的关系，实现了更加高效的唇部动作序列生成。
-
公开(公告)号：CN119399342B
公开(公告)日：2025-04-08
申请号：CN202510005486.6
申请日：2025-01-03
Applicant: 哈尔滨工业大学(威海)
Abstract: 本公开的实施例提供了一种基于全局‑局部表面协同感知的物体高斯逆渲染方法；涉及图形逆渲染领域。方法包括进行光线投射与采样，获取采样点；利用几何网络和颜色网络计算采样点的神经辐射距离值和颜色值，获取全局几何表征；根据神经辐射距离值，初始化高斯点云位置；从初始化高斯点云中选取局部控制点，以局部控制点为中心，确定局部采样点并构建局部距离函数；根据局部采样点，利用局部距离函数和神经辐射距离函数，计算局部采样点的局部距离值和全局神经辐射距离值；根据全局几何表征，以这两个距离值为约束，重建几何细节；为高斯点云添加属性值进行材质与光照建模，获取材质属性与光照条件。以此缓解物体表面粗糙、提高细节捕捉能力。
-
公开(公告)号：CN117994708A
公开(公告)日：2024-05-07
申请号：CN202410397545.4
申请日：2024-04-03
Applicant: 哈尔滨工业大学(威海)
IPC: G06V20/40 , G06N3/0455 , G06N3/0464 , G06N3/09 , G06V10/82 , G06V40/20
Abstract: 本发明公开了基于时序一致隐空间引导扩散模型的人体视频生成方法，包括以下步骤：从人物动作视频中提取骨骼序列并形成骨骼序列的视频；对输入视频、人物形象以及骨骼序列提取特征；输入特征至扩散模型中进行前向加噪及噪声预测；以加入的噪声作为监督定义约束并对扩散模型进行训练；将目标姿态序列和人物图片输入至训练好的扩散模型中；将时空坐标通过隐式网络映射为像素值；以目标视频以及目标姿态序列作为监督约束，学习模型参数；对隐式网络的输出视频进行特征提取，再次输入训练完成的扩散模型，得到人物动作视频。本发明设计迭代优化的策略，通过时序一致的隐空间引导提升扩散模型的生成结果连续性，以提高姿态引导的人体视频生成质量。
-
Patent Agency Ranking
公开(公告)号：CN118015162A
公开(公告)日：2024-05-10
申请号：CN202410425334.7
申请日：2024-04-10
Applicant: 哈尔滨工业大学(威海)
IPC: G06T13/40 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于语音韵律学分解的三维数字人头部动画生成方法，包括以下步骤：通过语言内容、风格和基础频率编码器分别提取音频中的三者相关的潜在变量；通过周期位置编码获得额外的时序信息，使用跨模态偏差多头自注意力模块增强对于长动作序列的泛化性能；计算跨模态的对齐偏差并通过多头注意力模块对齐多模态信息，实现三维数字人头部动画中的唇部动作生成；通过基于Transformer的动作变分自编码器将唇部动作序列映射到低维潜在空间，设计条件概率扩散模型实现基于基础频率的三维数字人头部动画中的头部动作生成。本发明更加深层次挖掘了语音中韵律部分同唇部动作的关系，实现了更加高效的唇部动作序列生成。
-
公开(公告)号：CN110570415B
公开(公告)日：2023-04-07
申请号：CN201910858970.8
申请日：2019-09-11
Applicant: 哈尔滨工业大学(威海)
IPC: G06T7/00 , G06T7/136 , G06V10/764 , G06V10/762
Abstract: 本发明公开了一种高铁接触网吊弦不受力异常检测方法，包括以下步骤：提取吊弦主体图片，采用骨架获取算法提取吊弦骨架图；提取吊弦骨架图的关键点，计算相邻关键点组成的向量，计算相邻向量之间的余弦值；对计算的若干组余弦值使用优化算法训练获得训练模型，采用该模型进行吊弦异常检测。解决了使用霍夫变换直线拟合检测吊弦异常时精度低、易受阈值影响的问题，对于解决正负样本不平衡、训练数据匮乏等问题具有重要应用价值。
-
公开(公告)号：CN110570415A
公开(公告)日：2019-12-13
申请号：CN201910858970.8
申请日：2019-09-11
Applicant: 哈尔滨工业大学(威海)
Abstract: 本发明公开了一种高铁接触网吊弦不受力异常检测方法，包括以下步骤：提取吊弦主体图片，采用骨架获取算法提取吊弦骨架图；提取吊弦骨架图的关键点，计算相邻关键点组成的向量，计算相邻向量之间的余弦值；对计算的若干组余弦值使用优化算法训练获得训练模型，采用该模型进行吊弦异常检测。解决了使用霍夫变换直线拟合检测吊弦异常时精度低、易受阈值影响的问题，对于解决正负样本不平衡、训练数据匮乏等问题具有重要应用价值。
-
公开(公告)号：CN119399342A
公开(公告)日：2025-02-07
申请号：CN202510005486.6
申请日：2025-01-03
Applicant: 哈尔滨工业大学(威海)
Abstract: 本公开的实施例提供了一种基于全局‑局部表面协同感知的物体高斯逆渲染方法；涉及图形逆渲染领域。方法包括进行光线投射与采样，获取采样点；利用几何网络和颜色网络计算采样点的神经辐射距离值和颜色值，获取全局几何表征；根据神经辐射距离值，初始化高斯点云位置；从初始化高斯点云中选取局部控制点，以局部控制点为中心，确定局部采样点并构建局部距离函数；根据局部采样点，利用局部距离函数和神经辐射距离函数，计算局部采样点的局部距离值和全局神经辐射距离值；根据全局几何表征，以这两个距离值为约束，重建几何细节；为高斯点云添加属性值进行材质与光照建模，获取材质属性与光照条件。以此缓解物体表面粗糙、提高细节捕捉能力。
-
公开(公告)号：CN117994708B
公开(公告)日：2024-05-31
申请号：CN202410397545.4
申请日：2024-04-03
Applicant: 哈尔滨工业大学(威海)
IPC: G06V20/40 , G06N3/0455 , G06N3/0464 , G06N3/09 , G06V10/82 , G06V40/20
Abstract: 本发明公开了基于时序一致隐空间引导扩散模型的人体视频生成方法，包括以下步骤：从人物动作视频中提取骨骼序列并形成骨骼序列的视频；对输入视频、人物形象以及骨骼序列提取特征；输入特征至扩散模型中进行前向加噪及噪声预测；以加入的噪声作为监督定义约束并对扩散模型进行训练；将目标姿态序列和人物图片输入至训练好的扩散模型中；将时空坐标通过隐式网络映射为像素值；以目标视频以及目标姿态序列作为监督约束，学习模型参数；对隐式网络的输出视频进行特征提取，再次输入训练完成的扩散模型，得到人物动作视频。本发明设计迭代优化的策略，通过时序一致的隐空间引导提升扩散模型的生成结果连续性，以提高姿态引导的人体视频生成质量。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.024 seconds)
