公开(公告)号：CN116089652B

公开(公告)日：2023-07-18

申请号：CN202310364413.7

申请日：2023-04-07

Applicant: 中国科学院自动化研究所

Inventor： 郭海云 ,  闫天翊 ,  王金桥 ,  唐明

IPC: G06F16/78 ,  G06F18/214

Abstract: 本发明提供一种视觉检索模型的无监督训练方法、装置和电子设备，属于计算机视觉技术领域。该方法包括：将图像样本集输入视觉检索模型进行特征提取处理，获得目标特征信息；基于目标特征信息，为图像样本集中的各图像样本生成初始伪标签，并以各非离群图像样本为节点构建第一KNN图；以第一KNN图和目标特征信息为训练数据，以初始伪标签为监督数据对伪标签校正模型进行训练获得目标伪标签校正模型；基于目标特征信息，以图像样本集中的各图像样本为节点构建第二KNN图；将第二KNN图输入目标伪标签校正模型，获得校正伪标签；以图像样本集为训练数据，以校正伪标签为监督数据对视觉检索模型进行训练。该方法能提高视觉检索模型的性能。

公开(公告)号：CN116092164A

公开(公告)日：2023-05-09

申请号：CN202310109275.8

申请日：2023-02-01

Applicant: 中国科学院自动化研究所

Inventor： 刘智威 ,  徐涵 ,  王金桥 ,  赵朝阳

IPC: G06V40/16 ,  G06T3/40 ,  G06T17/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种人脸图像重演方法、装置、电子设备及存储介质，涉及图像处理技术领域，其中方法包括：对源图像和驱动图像进行人脸关键点检测以及背景预测，确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵；基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换，确定密集光流和多尺度掩码图像；其中，多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分；基于密集光流和多尺度掩码图像进行人脸重演，确定源图像和驱动图像对应的重建图像；人脸重演包括扭曲重建和上下文修复。本发明实现了源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的，大幅提高了人脸重演的精准性和适用性。

公开(公告)号：CN115100419B

公开(公告)日：2023-02-21

申请号：CN202210851147.6

申请日：2022-07-20

Applicant: 中国科学院自动化研究所

Inventor： 朱优松 ,  陈志扬 ,  赵朝阳 ,  李朝闻 ,  王金桥 ,  唐明

IPC: G06V10/40 ,  G06V10/774

Abstract: 本发明提供一种目标检测方法、装置、电子设备及存储介质，涉及计算机视觉技术领域，包括：确定待检测图像和目标物体类别集，目标物体类别集用于表征需要从待检测图像中检测的不同目标物体类别；将目标物体类别集和待检测图像输入至目标检测模型，获取目标检测结果；目标检测结果包括待检测图像中与目标物体类别集对应的目标物体的目标类别和目标位置；目标检测模型是基于样本物体类别集、样本图像，以及样本图像中样本物体类别标签和样本物体位置标签训练得到的，样本物体类别集用于表征需要从样本图像中检测的不同样本物体类别。本发明方法结合额外输入的目标物体类别集，灵活控制所需检测的目标物体，能够更好地适配多样化的目标检测定制需求。

公开(公告)号：CN115294350A

公开(公告)日：2022-11-04

申请号：CN202210754184.5

申请日：2022-06-28

Applicant: 中国科学院自动化研究所

Inventor： 郭海云 ,  伍虹燕 ,  王金桥

IPC: G06V10/44 ,  G06V10/764

Abstract: 本发明提供一种基于粗标签辅助的半监督细粒度图像识别方法和设备，属于计算机视觉和模式识别技术领域，该方法包括：将待识别图像利用第一特征提取模型进行特征提取，得到第一图像特征；将第一图像特征利用细粒度层级分类器进行处理，得到待识别图像的分类结果；其中，第一特征提取模型为基于粗粒度层级的交叉熵损失、细粒度层级的交叉熵损失、目标损失优化得到的；目标损失为基于样本与样本之间关系级别的第一损失和样本与类中心之间的关系级别的第二损失得到的。上述方案的准确性较高。

公开(公告)号：CN115018954B

公开(公告)日：2022-10-28

申请号：CN202210941909.1

申请日：2022-08-08

Applicant: 中国科学院自动化研究所

Inventor： 吴凌翔 ,  王金桥 ,  牛蕴方

IPC: G06T11/00 ,  G06T5/00 ,  G06T5/50

Abstract: 本发明提供一种图像生成方法、装置和电子设备，涉及图像生成技术领域，解决了如何生成与目标文本的文本内容相匹配的目标无噪声图像的问题。该方法包括：可以先获取待处理的噪声图像、噪声图像对应的目标文本、目标加噪阶段和随机非空文本；并基于噪声图像、目标文本、目标加噪阶段以及随机非空文本，对噪声图像进行去噪处理，生成目标无噪声图像；其中，目标无噪声图像的图像内容与目标文本的文本内容的匹配度大于第一阈值。这样将目标文本和随机非空文本作为去噪处理过程中的引导信息，对噪声图像进行去噪处理，可以生成与目标文本的文本内容相匹配的目标无噪声图像，从而提高了生成的目标无噪声图像的准确度。

公开(公告)号：CN114861842B

公开(公告)日：2022-10-28

申请号：CN202210797903.1

申请日：2022-07-08

Applicant: 中国科学院自动化研究所

Inventor： 朱贵波 ,  李宗树 ,  葛国敬 ,  赵旭 ,  王金桥

IPC: G06K9/62

Abstract: 本发明提供一种少样本目标检测方法、装置和电子设备；涉及机器视觉技术领域。该方法包括：采用包括基础类别的第一样本数据训练得到第一模型，第一模型包括支持分支、查询分支，第一模型的支持分支用于提取基础类别的类别特征；采用包括新类别的第二样本数据对第一模型进行微调，得到第二模型，第二模型的支持分支用于提取基础类别和新类别的类别特征，第二样本的数量远小于第一样本的数量；将待检测样本输入第二模型的查询分支，提取待检测样本的第一特征；将第一特征与第二模型的类别特征进行特征重加权处理，得到处理后的第二特征，利用第二特征确定待检测样本的检测结果。本发明能够提高少样本检测器的性能。

公开(公告)号：CN114842307B

公开(公告)日：2022-10-28

申请号：CN202210776862.8

申请日：2022-07-04

Applicant: 中国科学院自动化研究所

Inventor： 朱优松 ,  李朝闻 ,  赵朝阳 ,  陈志扬 ,  王金桥

IPC: G06V10/774 ,  G06V10/778

Abstract: 本发明提供一种掩码图像模型训练方法、掩码图像内容预测方法和设备，涉及图像处理技术领域，解决了预测的掩码图像内容准确度较低的问题。训练方法包括：将多个图像样本对应的可视化图像块输入至初始掩码图像模型中的非对称结构的初始编码模型中，得到各可视化图像块对应的编码特征对，并将各可视化图像块对应的编码特征对和第二数量个预设掩码补丁输入至初始掩码图像模型中的初始解码模型中，得到各掩码图像块对应的解码结果对；再根据多个图像样本各自对应的第二数量个掩码图像块和解码结果对，对初始编码模型和初始解码模型的模型参数进行更新，训练得到的掩码图像模型可以准确地预测掩码图像块的图像内容，提高了预测结果的准确度。

公开(公告)号：CN115100419A

公开(公告)日：2022-09-23

申请号：CN202210851147.6

申请日：2022-07-20

Applicant: 中国科学院自动化研究所

Inventor： 朱优松 ,  陈志扬 ,  赵朝阳 ,  李朝闻 ,  王金桥 ,  唐明

IPC: G06V10/40 ,  G06V10/774

Abstract: 本发明提供一种目标检测方法、装置、电子设备及存储介质，涉及计算机视觉技术领域，包括：确定待检测图像和目标物体类别集，目标物体类别集用于表征需要从待检测图像中检测的不同目标物体类别；将目标物体类别集和待检测图像输入至目标检测模型，获取目标检测结果；目标检测结果包括待检测图像中与目标物体类别集对应的目标物体的目标类别和目标位置；目标检测模型是基于样本物体类别集、样本图像，以及样本图像中样本物体类别标签和样本物体位置标签训练得到的，样本物体类别集用于表征需要从样本图像中检测的不同样本物体类别。本发明方法结合额外输入的目标物体类别集，灵活控制所需检测的目标物体，能够更好地适配多样化的目标检测定制需求。

公开(公告)号：CN114782291B

公开(公告)日：2022-09-06

申请号：CN202210715667.4

申请日：2022-06-23

Applicant: 中国科学院自动化研究所

Inventor： 葛国敬 ,  王金桥 ,  朱贵波

IPC: G06T5/00 ,  G06K9/62 ,  G06V10/774

Abstract: 本发明提供一种图像生成器的训练方法、装置、电子设备和可读存储介质，涉及图像处理技术领域，通过将降质样本人脸图像输入至图像生成器中得到修复样本人脸图像，图像生成器基于Transformer模型构建；基于原始样本人脸图像和修复样本人脸图像对图像判别器以及图像生成器进行优化；重复优化图像判别器以及优化图像生成器的步骤，直至达到预设收敛条件，以通过优化后的图像生成器对待修复人脸图像进行图像盲修复处理，实现了端对端的图像盲修复功能，训练过程不需要人工干预，训练路径比较简单，克服了现有技术中单个阶段无法获得理想的训练结果、训练过程需要人工干预和训练路径繁琐复杂的缺陷。

公开(公告)号：CN114333040A

公开(公告)日：2022-04-12

申请号：CN202210218277.6

申请日：2022-03-08

Applicant: 中国科学院自动化研究所

Inventor： 赵旭 ,  王金桥 ,  赵朝阳 ,  丁文超

IPC: G06V40/16 ,  G06N3/08 ,  G06V10/82

Abstract: 本发明提供一种多层级目标检测方法及系统，包括：获取待检测目标图片集合；将所述待检测目标图片集合输入预先训练好的多层级目标检测模型中，得到初始目标检测结果和多个子目标检测结果；其中，所述多层级目标检测模型是获取目标检测数据集，基于单阶段初始目标检测网络训练参数确定多阶段子任务训练参数，对所述多阶段子任务训练参数进行更新，并对所述目标检测数据集的正负样本进行回归训练所获得的。本发明基于充分训练的目标检测神经网络，仅增加少量的参数量进行微调，即可完成已检测目标的二次分析，在保持该方法优势的同时，节约了计算量和部署工作量，同时在二次分析时可以引入上下文信息，获得更高的精度。