公开(公告)号：CN118212315A

公开(公告)日：2024-06-18

申请号：CN202410305781.9

申请日：2024-03-18

Applicant: 中国科学院计算技术研究所

Inventor： 黄庆明 ,  孟本源 ,  许倩倩 ,  王子泰 ,  杨智勇 ,  操晓春

IPC: G06T11/00

Abstract: 本发明提供了一种图像处理系统的构建方法，该方法包括：筛选出多种图像生成方法；构建初始图像处理系统，其包括：表征模块和处理模块，其中，表征模块用于基于筛选出的多种图像生成方法和预训练的扩散模型得到输入图像的多个子表征并对其进行拼接处理以得到输入图像的表征；利用输入图像、输入图像上图像任务处理的标签对初始图像处理系统进行多次迭代训练，并在每次迭代训练过程中按照预设的损失更新图像处理系统的参数。采用本发明的方法能够显著提升表征模块的表征学习能力，即使用本发明构建的表征模块用于表征学习时能够得到内容更准确的图像表征，以使下游的处理模块基于该图像表征完成图像处理任务时能够得到更加准确的处理结果。

公开(公告)号：CN119047517A

公开(公告)日：2024-11-29

申请号：CN202411248753.4

申请日：2024-09-06

Applicant: 中国科学院计算技术研究所

Inventor： 许倩倩 ,  孟本源 ,  王子泰 ,  操晓春 ,  黄庆明

IPC: G06N3/0464 ,  G06N3/0499 ,  G06N3/08 ,  G06V10/26 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提供了一种选取扩散模型的中间变量的方法，包括：选取扩散模型中模块间的中间变量作为候选项，以及选取扩散模型中ViT模块内部的中间变量作为候选项，形成候选集合；针对候选集合中的每个候选项进行定量评价，包括：在训练和测试图像预测模型时，利用候选项对应的扩散表征代替原始图像作为图像预测模型的输入，并在训练完成后基于测试指标评价候选项的性能，其中，候选项对应的扩散表征是指将原始图像输入扩散模型后在候选项对应中间变量处得到的图像特征；从候选集合中，按性能由优到劣的顺序，选择部分候选项为选定项。