-
公开(公告)号:CN116092164B
公开(公告)日:2023-12-26
申请号:CN202310109275.8
申请日:2023-02-01
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种人脸图像重演方法、装置、电子设备及存储介质,涉及图像处理技术领域,其中方法包括:对源图像和驱动图像进行人脸关键点检测以及背景预测,确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵;基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换,确定密集光流和多尺度掩码图像;其中,多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分;基于密集光流和多尺度掩码图像进行人脸重演,确定源图像和驱动图像对应的重建图像;人脸重演包括扭曲重建和上下文修复。本发明实现了源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的,大幅提高了人脸重演的精准性和适用性。
-
公开(公告)号:CN108764048A
公开(公告)日:2018-11-06
申请号:CN201810396866.7
申请日:2018-04-28
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及计算机视觉处理技术领域,并提出了一种人脸关键点检测方法,旨在解决在人脸关键点检测中计算代价较大和计算资源利用率低下的技术问题。为此目的,本发明中的人脸关键点检测方法包括:利用预先构建的人脸关键点识别模型对人脸图像进行识别,得到人脸关键点的位置信息;人脸关键点识别模型的训练过程为:校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位;利用变换矩阵对校正网络所定位出的粗略关键点进行变换得到校正后的校正样本数据;回归网络对校正样本数据进行回归计算,检测出人脸关键点位置信息。基于上述步骤,本发明可以快速、准确地检测出人脸图像中人脸关键点信息。
-
公开(公告)号:CN117197268A
公开(公告)日:2023-12-08
申请号:CN202310946688.1
申请日:2023-07-27
Applicant: 武汉人工智能研究院 , 中国科学院自动化研究所
IPC: G06T11/00 , G06N3/09 , G06N3/0455
Abstract: 本申请提供一种图像生成方法、装置及存储介质。该图像生成方法包括:将待处理提示词输入至预训练的第一稳定扩散模型,得到所述待处理提示词对应的表观图像,并将待处理提示词输入至边缘图生成模型,得到所述待处理提示词对应的第一边缘图像;基于所述表观图像和所述第一边缘图像生成与所述待处理提示词相关联的图像。本申请提供的图像生成方法、装置及存储介质,提取小样本类别图像的表观信息和边缘信息,并用其联合进行相应类别的图像生成,提高了基于小样本图像的图像生成模型的训练精度以及泛化能力,从而提高了小样本图像生成的准确性。
-
公开(公告)号:CN115953665A
公开(公告)日:2023-04-11
申请号:CN202310221030.4
申请日:2023-03-09
Applicant: 武汉人工智能研究院 , 中国科学院自动化研究所
IPC: G06V10/82 , G06V10/764 , G06V10/52 , G06V10/25 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/047 , G06N3/08
Abstract: 本申请实施例提供一种目标检测方法、装置、设备及存储介质,涉及图形数据读取技术领域,所述方法包括:基于视觉transformer模型获取的查询特征图序列和支持特征图序列进行相关性汇聚运算的结果,确定第二查询特征图序列;基于第二查询特征图序列的自注意力运算和/或交叉注意力运算的结果,确定用于获取查询特征图序列的查询图像对应的预测结果。本申请提供的目标检测方法,极大地缩短了视觉transformer模型的收敛时间,降低了利用该模型预测边界框的难度,既能有效地提取查询图像中和支持类别相关的目标特征区域,同时能够使查询分支不局限于特定支持类别目标实例,能检测任意类别的目标实例。
-
公开(公告)号:CN117197268B
公开(公告)日:2025-03-04
申请号:CN202310946688.1
申请日:2023-07-27
Applicant: 武汉人工智能研究院 , 中国科学院自动化研究所
IPC: G06F30/27 , G06T11/00 , G06N3/09 , G06N3/0455
Abstract: 本申请提供一种图像生成方法、装置及存储介质。该图像生成方法包括:将待处理提示词输入至预训练的第一稳定扩散模型,得到所述待处理提示词对应的表观图像,并将待处理提示词输入至边缘图生成模型,得到所述待处理提示词对应的第一边缘图像;基于所述表观图像和所述第一边缘图像生成与所述待处理提示词相关联的图像。本申请提供的图像生成方法、装置及存储介质,提取小样本类别图像的表观信息和边缘信息,并用其联合进行相应类别的图像生成,提高了基于小样本图像的图像生成模型的训练精度以及泛化能力,从而提高了小样本图像生成的准确性。
-
公开(公告)号:CN117115315A
公开(公告)日:2023-11-24
申请号:CN202310856520.1
申请日:2023-07-12
Applicant: 武汉人工智能研究院 , 中国科学院自动化研究所
IPC: G06T13/40 , G06T7/40 , G06T7/246 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本申请提供一种语音驱动唇形生成方法、装置及存储介质。该方法包括:将多帧人脸图像输入至纹理编码器中进行纹理特征提取,得到每一人脸图像的初始纹理特征;将运动信息从所述初始纹理特征中解耦,得到所述人脸图像的目标纹理特征;基于所述人脸图像的目标纹理特征和语音输入生成人脸唇形。本申请提供的语音驱动唇形生成方法、装置及存储介质,通过将运动信息从所述初始纹理特征中解耦,采用解耦后得到的目标纹理特征作为唇形生成的参考先验,避免了运动信息对生成结果的影响,提升生成唇形的准确性和鲁棒性、提高唇形同步的准确率。
-
公开(公告)号:CN116092164A
公开(公告)日:2023-05-09
申请号:CN202310109275.8
申请日:2023-02-01
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种人脸图像重演方法、装置、电子设备及存储介质,涉及图像处理技术领域,其中方法包括:对源图像和驱动图像进行人脸关键点检测以及背景预测,确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵;基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换,确定密集光流和多尺度掩码图像;其中,多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分;基于密集光流和多尺度掩码图像进行人脸重演,确定源图像和驱动图像对应的重建图像;人脸重演包括扭曲重建和上下文修复。本发明实现了源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的,大幅提高了人脸重演的精准性和适用性。
-
公开(公告)号:CN109902641B
公开(公告)日:2021-03-02
申请号:CN201910168643.X
申请日:2019-03-06
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于人脸识别领域,具体涉及一种基于语义对齐的人脸关键点检测方法、系统、装置,旨在为了提高人脸关键点检测的准确度,本发明方法在传统方法获取基本收敛的人脸关键点检测网络后,采用所构建的包含包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图的训练样本,使用含有隐变量的概率模型作为极大似然估计的目标再进行人脸关键点检测网络的优化;通过最终优化的人脸关键点检测网络进行人脸关键点坐标的预测。本发明在网络训练过程中有效地克服了标注随机性带来的训练震荡问题,提高人脸关键点检测的准确度。
-
公开(公告)号:CN117423108A
公开(公告)日:2024-01-19
申请号:CN202311273241.9
申请日:2023-09-28
Applicant: 中国科学院自动化研究所 , 武汉人工智能研究院
IPC: G06V20/70 , G06V10/40 , G06V10/80 , G06V10/82 , G06F18/25 , G06F40/289 , G06F40/30 , G06F16/35 , G06N3/0455
Abstract: 本发明提供一种指令微调多模态大模型的图像细粒度描述方法及系统,涉及计算机技术领域,方法包括:获取目标图像对应的第一向量序列,目标图像对应的第一向量序列是通过对目标图像对应的第二向量序列进行编码后得到的,目标图像对应的第二向量序列是根据从所述目标图像中提取到的高级语义信息得到的;根据第一向量序列和第一提示模板,获取目标图像的细粒度描述文本,第一提示模板用于提供对目标图像进行细粒度描述所需的指令信息。本发明能够基于少量对图像进行细粒度描述所需的指令信息及承载图像的高级语义信息的向量序列,精准地识别和描述图像中重要目标的属性和特征,实现对图像的细粒度描述,提供更丰富及更具体的图像信息。
-
公开(公告)号:CN116071238A
公开(公告)日:2023-05-05
申请号:CN202310201764.6
申请日:2023-03-06
Applicant: 武汉人工智能研究院 , 中国科学院自动化研究所
IPC: G06T3/40 , G06T7/11 , G06N3/0464 , G06N3/08 , G06V10/764
Abstract: 本发明提供一种图像超分处理方法、装置、电子设备及存储介质,涉及图像处理技术领域,该方法包括:将待处理图像输入改进的分类超分ClassSR网络模型,得到不确定度响应图,基于不确定度响应图,更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图;基于更新后的超分分支网络倒数第二层的特征图,得到待处理图像的超分重建图像,使得图像超分更加精细、合理、高效,提升了超分网络的速度和精度。
-
-
-
-
-
-
-
-
-