公开(公告)号：CN118261971A

公开(公告)日：2024-06-28

申请号：CN202211630205.9

申请日：2022-12-19

Applicant: 上海交通大学 ,  中央广播电视总台

Inventor： 谢伟迪 ,  安桂霞 ,  张杨 ,  姚莉 ,  周沁也 ,  李紫一 ,  张小云

IPC: G06T7/73 ,  G06T11/60 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于生成模型的图像物体定位方法和系统，包括：对于生成模型从噪声和文本提示合成图片的生成过程利用图像特征提取网络获取过程中的图像特征；对于文本提示中的某个特定物体类别利用文本编码器提取文本特征；使用跨模态特征对齐网络对文本特征和图像特征进行对齐，获取对齐后的表示；利用多层感知机网络将对齐后的表示映射为图像掩码。本发明能够利用自然图像生成过程中的特征表示，通过与对应物体类别的文本特征进行对齐来获取物体的定位信息，在生成图片的同时得到对应物体的掩码。

公开(公告)号：CN118644422A

公开(公告)日：2024-09-13

申请号：CN202310231366.9

申请日：2023-03-10

Applicant: 上海交通大学 ,  中央广播电视总台

Inventor： 王延峰 ,  安桂霞 ,  张杨 ,  姚莉 ,  王智信 ,  张小云 ,  张娅

IPC: G06T5/77 ,  G06T5/70

Abstract: 本发明提供一种人脸图像盲修复方法、系统、终端和介质，包括：获取待修复人脸图像，所述待修复人脸图像为遭受未知退化的低质量图像；使用预训练的扩散模型，将所述低质量图像转化为平滑的、干净的中间结果，实现对于所述低质量图像中退化的去除，其中，所述预训练的扩散模型具有由随机噪声生成人脸图像的功能；将所述中间结果映射为高质量图像，完成人脸图像修复。本发明是一种鲁棒的人脸图像盲修复方法，能够应对输入图像的各种退化，无需构造数据集来模拟现实场景中的退化，能够适用于真实图像中的未知退化，改善了现有技术需要构造模拟退化训练集，不贴合实际使用场景的问题。