-
公开(公告)号:CN108629294A
公开(公告)日:2018-10-09
申请号:CN201810340618.0
申请日:2018-04-17
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于变形图的人体与人脸网格模板拟合方法,不需要作任何事前准备,亦可快速将标准人体或人脸模板向扫描数据变形并得到良好的拟合效果。该方法是首先对目标的扫描数据进行特征点检测,辅以人工校正,然后进行刚性对齐及变形图配准两种稀疏配准方法实现标准模板与扫描数据在空间上的统一以及姿态的变换,最后再作非刚性稠密配准来进行形状的拟合以及表面细节的还原。本发明采用变形图配准取替骨架驱动技术进行人体姿态或人脸表情的初步拟合,在姿态或表情基本一致的情况下再使用有对应点关系的非刚性稠密配准进行表面细节还原。具有事前准备简单、拟合效果好且效率高的优点,具有很好的推广利用前景。
-
公开(公告)号:CN106683169A
公开(公告)日:2017-05-17
申请号:CN201611125996.4
申请日:2016-12-09
Applicant: 华南理工大学
IPC: G06T17/00
Abstract: 本发明公开了一种关节运动感知的稀疏局部分解及重构算法,包括:1)计算三角网格中边的长度和边对应的二面角大小(这两个值记为LA);2)计算各个三角网格模型LA向量的残差;3)对LA向量残差做稀疏局部分解得到LA基;4)线性混合LA基获得新的LA向量;5)恢复连接映射;6)估计局部正交标价;7)重构三角网格。本发明主要解决的问题是如何对给定的运动网格序列进行稀疏局部分解,从而捕捉出运动序列的局部区域的变形,并以此为基础,构建一个能够捕获运动区域和进行三角网格模型姿态编辑的集合处理框架。本发明具有更好的局部性、适用于大范围旋转运动变形、适用于全局旋转、具有良好的鲁棒性等优点。
-
公开(公告)号:CN120047866A
公开(公告)日:2025-05-27
申请号:CN202510067040.6
申请日:2025-01-16
Applicant: 华南理工大学
IPC: G06V20/40 , G06V10/764 , G06V10/77 , G06V10/80 , G06V10/82 , G06T5/50 , G06T3/4038 , G06T3/4046 , G06T5/70 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/0895
Abstract: 本发明公开了一种基于拐点流的发声动作时序定位方法及系统,首先读取包含发声动作的无声视频;然后根据运动学定律进行拐点流分析得到双向运动流和双向拐点流;随后进行特征提取得到图像上下文特征、双向运动特征和双向速度拐点特征;接着计算图像到运动和图像到拐点的跨运动学特征拼接得到跨运动学聚合特征;同时从跨运动学聚合特征中获取判别图,在判别图上对运动区域及非运动区域进行跨视频对比学习并进行视频内部平滑约束,得到激活运动区域特征;最后进行时空特征融合并逐帧进行分类预测,识别每一图像帧是否为发声动作帧。本发明实现了帧级别的碰撞发声动作帧定位,能够准确识别碰撞发声动作对应的视频帧。
-
公开(公告)号:CN118298084A
公开(公告)日:2024-07-05
申请号:CN202410297313.1
申请日:2024-03-15
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于表面法线图的人体网格拟合方法,包括:对经过预处理后的图像进行特征提取,提取出相应的二维关键点、轮廓图像和表面法线图像,以及所需的优化初始值作为拟合目标;根据拟合目标,设计对应的能量函数,最小化能量损失值;利用两阶段的优化拟合方式,先拟合相机参数的焦距,再拟合人物的姿态和形状参数,利用预定义的形状参数序列,间隔修改形状参数;将生成的人体网格渲染到图像上,与输入图像进行可视化比较,生成多视角图像,检验网格质量。本发明能够合理利用法向量这类三维信息,再结合二维的关键点和轮廓信息的基础上,加强了二维和三维信息的交互,提升拟合质量,从而改善重建结果的质量。
-
公开(公告)号:CN118212358A
公开(公告)日:2024-06-18
申请号:CN202410317385.8
申请日:2024-03-20
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于多区域裁切的人体三维重建方法、系统及存储介质,方法为:获取原始图片并使用裁剪框进行多区域裁切得到一组裁剪图片;输入预训练的特征提取网络中提取特征;利用特征融合网络对提取的特征进行融合得到融合特征;进行全局平均池化后输入人体参数回归网络得到每一组裁剪图片共享的人体三维参数;把融合特征输入相机参数回归网络得到每一组裁剪图片的局部投影参数;根据全局相机理论将局部投影参数转换为对应的全图投影参数;将人体三维参数及对应的全图投影参数输入SMPL模型重建得到人体三维模型。本发明通过多区域裁切并估计各自的局部相机,再基于全局相机理论转换为统一的全局相机,实现从单张原始图片重建人体模型的任务。
-
公开(公告)号:CN116342673A
公开(公告)日:2023-06-27
申请号:CN202310070565.6
申请日:2023-01-13
Applicant: 华南理工大学
IPC: G06T7/50 , G06N3/048 , G06N3/08 , G06N3/0464
Abstract: 本发明公开了一种基于全局注意力的单目彩色图像深度估计方法,该方法使用基于数据驱动的神经网络模型从彩色图像中估计对应的深度图像,需要先获取训练模型所需的彩色‑深度图像对数据集,对此提出了制作提出一种制作室内场景彩色‑深度图像对数据集的方法,同时使用基于自注意力机制与卷积神经网络,可以同时获取长距离与短距离的特征信息,并且对于编码特征进行全局注意力加权,从更广阔的感受野去获取对场景光照信息的理解,最终可以得到高准确性、高鲁棒性的深度估计结果。本发明从原始编码特征中提取全局信息并加权处理,得到对原始场景中的光照感知与理解,缓解了单目深度估计在不同光照下存在的鲁棒性问题,同时提高了单目深度估计的准确性。
-
公开(公告)号:CN108765550B
公开(公告)日:2021-03-30
申请号:CN201810438458.3
申请日:2018-05-09
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于单张图片的三维人脸重建方法,包括步骤:1)基于FLAME模型的脸部重建(脸部重建);2)FLAME网格脸部细节增强(细节增强);3)FLAME网格贴图补全(贴图补全)。主要流程:给定输入人脸图像,该算法首先使用从图像提取的人脸特征点并结合FLAME网格的三维特征点,建立特征点匹配能量,求解出人脸形状,接着借助图像中人脸区域的高频信息,引导人脸高度场的网格顶点移动,重建精细脸部细节,最后通过构造的FLAME反照率率参数化模型对人脸贴图进行补全,并去除光照信息。本发明解决的是针对单张图片的三维人脸重建问题,可以应用于人脸重建、人脸动画制作。
-
公开(公告)号:CN110349087B
公开(公告)日:2021-02-12
申请号:CN201910609314.4
申请日:2019-07-08
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于适应性卷积的RGB‑D图像高质量网格生成方法,包括步骤:1)构建训练数据集;2)数据扩增和归一化;3)构建适应卷积层;4)构建深度图像补全网络和超分辨率网络并进行训练;5)将测试数据依次输入两个训练好的网络中,输出修补好的高分辨率图片并进一步转化成高质量网格。本发明构建的数据集弥补了当前在深度图像补全领域缺乏高质量的大规模的数据集的问题;使用编码解码结构以及跨层连接结构,能够有效将数据中的低层特征和高层特征融合起来,同时避免了参数的冗余;使用适应性卷积结构能有效解决当前方法难以产生高质量的完整的深度图像的问题。本发明能解决当前kinect获取到的数据精度低,缺失区域大的问题。
-
公开(公告)号:CN111462328A
公开(公告)日:2020-07-28
申请号:CN202010207231.5
申请日:2020-03-23
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于渐进插值细分曲面的多个三维网格模型插值方法,包括:给定n个拓扑结构相同的三维网格模型作为关键帧,获取所有关键帧的二面角和边长数据矩阵D;使用局部线性嵌入降维方法把矩阵D降到二维,得到n个二维点的集合d;对降到二维后的d做Delaunay三角剖分;对剖分得到的曲面做基于渐进插值的Loop曲面细分;用户通过设计的交互系统的界面在细分完成后的曲面上选取任意数量的点,交互系统根据用户所选择的点生成一条经过这些点的三次B样条曲线;对该三次B样条曲线做采样,得到一组由二面角和边长构成的向量,根据这些向量重构出网格的三维坐标,完成多个三维网格的平滑插值。本发明不仅能构造一个形状曲线,还可以充分利用给定关键帧形成空间。
-
公开(公告)号:CN108509866B
公开(公告)日:2020-06-19
申请号:CN201810199612.6
申请日:2018-03-12
Applicant: 华南理工大学
Abstract: 本发明公开了一种人脸轮廓提取方法,包括步骤:1)输入一张图像之后,使用人脸检测的算法提取出其中人脸的区域,并通过关键特征点定位算法找到人脸轮廓的大致区域;2)在沿着人脸轮廓的大致区域采样生成一系列稠密的正方形,将整个人脸轮廓区域包含其中;3)在每个局部正方形区域中,都提取一条抛物线引导基于梯度信息的局部轮廓曲线,构成局部轮廓曲线组成的局部结果集合;4)通过基于PCA的全局融合算法,将稠密冗余的局部轮廓曲线融合成为一条全局轮廓曲线结果,得到完整的人脸轮廓线。本发明方法具有精度高,速度快,可以全自动也可以用户交互,最后得到的人脸轮廓曲线具有像素级别的高精度,符合人脸轮廓抛物线状的特点等优点。
-
-
-
-
-
-
-
-
-