-
公开(公告)号:CN113269862B
公开(公告)日:2024-06-21
申请号:CN202110601213.X
申请日:2021-05-31
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于图像处理与模式识别技术领域,具体涉及一种场景自适应的精细三维人脸重建方法、系统、电子设备,旨在解决现有三维人脸重建的重建结果模型感强、泛化性差的缺陷问题;其中方法包括基于3DMM和图形学成像模型对训练集的人脸形状进行增广,获得多个三维人脸数据及其对应的图像;对三维人脸数据对应图像拟合一个三维可变模型作为初始形状,基于三维人脸数据对应图像及初始形状进行虚拟多视角生成,获得多视角图像;将多视角图像输入多对一漏斗网络中,通过视觉一致的损失函数进行优化,获得精细化的三维人脸形状;本发明从训练数据构造、模型设计和场景自适应三个方面做出改善,实现在精细形状重建的同时,提升模型在无约束场景下的鲁棒性。
-
公开(公告)号:CN113642540B
公开(公告)日:2022-01-28
申请号:CN202111195200.3
申请日:2021-10-14
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于胶囊网络的人脸表情识别方法及装置,其中方法包括:利用倒谱理论自动的评估图像清晰度,自动筛选出清晰图像;将筛选出清晰图像去除背景和非人脸区域,做图像裁剪;对图像裁剪后的图像提取局部特征人脸关键点,做图像校准;通过旋转、移动、倾斜、缩放和颜色抖动操作来扩充校准后的图像的数据集;将校准后的图像输入到胶囊网络中提取具有可解释性的人脸表情特征,具体方法包括:部件胶囊学习和部件胶囊融合;将具有可解释性的人脸表情特征输入到分类器中,得到人脸表情最后的分类结果。
-
公开(公告)号:CN113269862A
公开(公告)日:2021-08-17
申请号:CN202110601213.X
申请日:2021-05-31
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于图像处理与模式识别技术领域,具体涉及一种场景自适应的精细三维人脸重建方法、系统、电子设备,旨在解决现有三维人脸重建的重建结果模型感强、泛化性差的缺陷问题;其中方法包括基于3DMM和图形学成像模型对训练集的人脸形状进行增广,获得多个三维人脸数据及其对应的图像;对三维人脸数据对应图像拟合一个三维可变模型作为初始形状,基于三维人脸数据对应图像及初始形状进行虚拟多视角生成,获得多视角图像;将多视角图像输入多对一漏斗网络中,通过视觉一致的损失函数进行优化,获得精细化的三维人脸形状;本发明从训练数据构造、模型设计和场景自适应三个方面做出改善,实现在精细形状重建的同时,提升模型在无约束场景下的鲁棒性。
-
公开(公告)号:CN112002014A
公开(公告)日:2020-11-27
申请号:CN202010892658.3
申请日:2020-08-31
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于图像处理与模式识别技术领域,具体涉及一种面向精细结构的三维人脸重建方法、系统、装置,旨在解决三维人脸重建精度较差的问题。本发明方法包括:获取待重建的二维人脸图像;获取三维空间变换函数和初始的三维人脸形状;对初始的三维人脸形状进行空间变换,并将图像脸部区域的各像素映射到3DMM模型的UV纹理空间,得到UV纹理图;获取UV可见图并提取特征,得到注意力特征图;将初始的三维人脸形状各点映射到UV纹理空间,得到UV形状图;将注意力特征图、UV纹理图相乘后与UV形状图相加;获取3DMM人脸模型各点的更新量,并与初始的三维人脸形状对应的各点相加,得到三维重建结果。本发明提高了人脸模型重建的精度。
-
公开(公告)号:CN116311429A
公开(公告)日:2023-06-23
申请号:CN202310148954.6
申请日:2023-02-14
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种人脸图像识别方法、系统、电子设备及存储介质,方法包括:将预设的待识别人脸图像输入预设的逆图形胶囊网络,进行图像编码,获取全局形状特征与全局纹理特征;基于预设的图像分解规则,对全局形状特征与全局纹理特征分别进行特征分解,获取部件级别的胶囊特征;对胶囊特征进行图形解码,获取至少一个部件胶囊;基于描述参数中的深度信息,对每个部件胶囊分别进行信息融合,获取至少一个目标胶囊;根据预先获取的待识别人脸图像中各人脸部件的光照值,对目标胶囊进行渲染,获取最终人脸图像,最终人脸图像包括人脸的三维描述信息。有效提升逆图形胶囊网络的可解释性和应用范围,能够较好地识别或处理较大姿态人脸。
-
公开(公告)号:CN112002014B
公开(公告)日:2023-12-15
申请号:CN202010892658.3
申请日:2020-08-31
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于图像处理与模式识别技术领域,具体涉及一种面向精细结构的三维人脸重建方法、系统、装置,旨在解决三维人脸重建精度较差的问题。本发明方法包括:获取待重建的二维人脸图像;获取三维空间变换函数和初始的三维人脸形状;对初始的三维人脸形状进行空间变换,并将图像脸部区域的各像素映射到3DMM模型的UV纹理空间,得到UV纹理图;获取UV可见图并提取特征,得到注意力特征图;将初始的三维人脸形状各点映射到UV纹理空间,得到UV形状图;将注意力特征图、UV纹理图相乘后与UV形状图相加;获取3DMM人脸模型各点的更新量,并与初始的三维人脸形状对应的各点相加,得到三维重建结果。本发明提高了人脸模型重建的精度。
-
公开(公告)号:CN113642540A
公开(公告)日:2021-11-12
申请号:CN202111195200.3
申请日:2021-10-14
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于胶囊网络的人脸表情识别方法及装置,其中方法包括:利用倒谱理论自动的评估图像清晰度,自动筛选出清晰图像;将筛选出清晰图像去除背景和非人脸区域,做图像裁剪;对图像裁剪后的图像提取局部特征人脸关键点,做图像校准;通过旋转、移动、倾斜、缩放和颜色抖动操作来扩充校准后的图像的数据集;将校准后的图像输入到胶囊网络中提取具有可解释性的人脸表情特征,具体方法包括:部件胶囊学习和部件胶囊融合;将具有可解释性的人脸表情特征输入到分类器中,得到人脸表情最后的分类结果。
-
公开(公告)号:CN117197843B
公开(公告)日:2024-02-02
申请号:CN202311461061.3
申请日:2023-11-06
Applicant: 中国科学院自动化研究所
Abstract: 本申请提供一种无监督的人体部件区域确定方法及装置,涉及数据识别技术领域,其中方法包括:将人体图像输入至特征提取模块,基于无监督深度学习网络提取所述人体图像中的初始人体部件特征,所述无监督深度学习网络中的联合损失函数包括:对比损失函数,几何损失函数和均匀损失函数;将所述初始人体部件特征输入至语义一致模块,自适应学习所述初始人体部件特征对应的语义;将所述初始人体部件特征对应的语义输入至图卷积模块,通过图卷积神经网络确定所述人体图像中的人体部件区域。本申请实现了全流程的无监督学习,以及人体部件区域的语义一致性。
-
公开(公告)号:CN117197843A
公开(公告)日:2023-12-08
申请号:CN202311461061.3
申请日:2023-11-06
Applicant: 中国科学院自动化研究所
Abstract: 本申请提供一种无监督的人体部件区域确定方法及装置,涉及数据识别技术领域,其中方法包括:将人体图像输入至特征提取模块,基于无监督深度学习网络提取所述人体图像中的初始人体部件特征,所述无监督深度学习网络中的联合损失函数包括:对比损失函数,几何损失函数和均匀损失函数;将所述初始人体部件特征输入至语义一致模块,自适应学习所述初始人体部件特征对应的语义;将所述初始人体部件特征对应的语义输入至图卷积模块,通过图卷积神经网络确定所述人体图像中的人体部件区域。本申请实现了全流程的无监督学习,以及人体部件区域的语义一致性。
-
-
-
-
-
-
-
-