-
公开(公告)号：CN113112572B
公开(公告)日：2022-09-06
申请号：CN202110393721.3
申请日：2021-04-13
Applicant: 复旦大学
Abstract: 本发明提供一种基于隐空间搜索的手绘草图引导的图像编辑方法，用于对待编辑图像进行编辑，其特征在于，包括：步骤S1，得到训练用图像；步骤S2，提取训练用图像的边缘图并训练神经网络；步骤S3，提取待编辑图像的边缘图，并根据掩膜将该边缘图与手绘草图结合；步骤S4，使用神经网络计算初始隐空间向量；步骤S5，根据初始隐空间向量生成生成图像；步骤S6，提取生成图像的边缘图并计算其与手绘草图在掩膜区域的特征图距离，同时计算其与待编辑图像在非掩膜区域的欧几里得距离以及感知距离；步骤S7，使用梯度下降算法使三种距离持续减小；步骤S8，将最终生成的生成图像的掩膜区域与待编辑图像的非掩膜区域融合得到最终编辑结果。
-
公开(公告)号：CN115423927A
公开(公告)日：2022-12-02
申请号：CN202210882614.1
申请日：2022-07-26
Applicant: 复旦大学
Abstract: 本发明涉及一种基于ViT的多视角3D重建方法及系统，该方法包括：S1、获取指定场景多视角2D图片以及对应的相机参数；S2、选取参考图片以及源图片；构建融合ViT与特征金字塔网络FPN的特征抽取模型，进行特征抽取；S3、构建代价矩阵，并基于分类损失分层级优化不同层级的代价矩阵预测的深度图；S4、采用动态多尺度策略对构建的多视角重建MVS模型进行训练；S5、从测试集中选取参考图片及对应的源图片，采用预训练好的多视角重建MVS模型，对深度图进行预测，并采用深度融合算法对预测得到的多视角深度图进行深度融合和点云重建。与现有技术相比，本发明通过引入预训练的ViT，提升了MVS中特征抽取的鲁棒性，提高了最终3D重建的效果。
-
公开(公告)号：CN114399436A
公开(公告)日：2022-04-26
申请号：CN202111598280.7
申请日：2021-12-24
Applicant: 复旦大学
Abstract: 本发明涉及一种基于线框和边缘结构的增量式图像修复方法，包括：获取场景数据图片；构建适应于下游任务的遮掩图层来进行模型训练；构建结构恢复模型并对其进行训练；构建线框结构上采样网络并对其进行训练；若遮掩图像的分辨率大于256×256，利用结构上采样网络将256×256的修复线框和边缘结构上采样到和遮掩图像同分辨率；将修复的线框和边缘信息输入结构特征编码器获取结构特征；根据遮掩图层获取遮掩位置编码；构建图像修复网络并对其进行训练；模型训练结束后，进行图像修复。与现有技术相比，本发明具有图像修复效果好、适应性强等优点。
-
公开(公告)号：CN112967218A
公开(公告)日：2021-06-15
申请号：CN202110274795.5
申请日：2021-03-15
Applicant: 复旦大学
Abstract: 本发明提供了一种基于线框和边缘结构的多尺度图像修复系统，用于针对包含建筑或家具的室内外场景下的待处理图像进行结构信息补全，并完成图像修复或对象移除任务，其特征在于，包括：线框与边缘抽取模块利用预定的线框抽取方法对待处理图像进行线框抽取得到线框图像，并利用预定的边缘抽取方法对待处理图像进行边缘抽取得到边缘图像；结构修复模块基于待处理图像、线框图像以及边缘图像，通过预先训练好的结构修复模型进行结构修复，从而得到修复好的待处理图像作为结构修复图像；图像处理模块基于结构修复图像完成图像修复任务或对象移除任务。本发明的图像修复系统针对人造的场景(如室内家具、室外建筑)有更好的图像修复性能。
-
Patent Agency Ranking
公开(公告)号：CN117934875A
公开(公告)日：2024-04-26
申请号：CN202410104177.X
申请日：2024-01-24
Applicant: 复旦大学
IPC: G06V10/74 , G06T7/80 , G06T7/50 , G06V10/82 , G06V10/80 , G06V10/764 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于视觉Transformer的多视觉立体匹配系统及方法，该系统包括特征抽取模块和代价矩阵模块，特征抽取模块用于提取图像特征、抽取跨视图信息；代价矩阵模块通过单应变化将源图片特征变化到参考图片的坐标系下，并且进行特征融合，利用CVT以及3D楔形位置编码FPE和自适应注意力缩放AAS，以得到深度估计结果。与现有技术相比，本发明分别设计MVS流程中特征编码器和成本体积正则化对应的注意力机制，通过SVA将跨视图信息无缝地整合到预训练的DINOv2特征中。此外，在代价矩阵模块中设计FPE和AAS，以增强CVT对高分辨率图像的泛化能力，有效提高图像重建质量。
-
公开(公告)号：CN113034390B
公开(公告)日：2022-10-18
申请号：CN202110286255.9
申请日：2021-03-17
Applicant: 复旦大学
Abstract: 本发明涉及一种基于小波先验注意力的图像修复方法及系统，包括以下步骤：获取多张原始图像；基于原始图像构筑遮掩图像；分别对各个遮掩图像进行Haar小波变换，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；建立图像修复网络，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练，得到图像修复模型；使用图像修复模型进行图像修复。与现有技术相比，本发明利用原始图像、遮掩图像和遮掩图像的高频小波信息进行图像修复网络的训练，提供了图像修复中一些关键的结构信息和高频信息，同时引入了注意力偏移模块，提升了图像修复模型的效率，得到的图像修复模型能更好的还原结构信息。
-
公开(公告)号：CN112967218B
公开(公告)日：2022-03-18
申请号：CN202110274795.5
申请日：2021-03-15
Applicant: 复旦大学
Abstract: 本发明提供了一种基于线框和边缘结构的多尺度图像修复系统，用于针对包含建筑或家具的室内外场景下的待处理图像进行结构信息补全，并完成图像修复或对象移除任务，其特征在于，包括：线框与边缘抽取模块利用预定的线框抽取方法对待处理图像进行线框抽取得到线框图像，并利用预定的边缘抽取方法对待处理图像进行边缘抽取得到边缘图像；结构修复模块基于待处理图像、线框图像以及边缘图像，通过预先训练好的结构修复模型进行结构修复，从而得到修复好的待处理图像作为结构修复图像；图像处理模块基于结构修复图像完成图像修复任务或对象移除任务。本发明的图像修复系统针对人造的场景(如室内家具、室外建筑)有更好的图像修复性能。
-
公开(公告)号：CN113112572A
公开(公告)日：2021-07-13
申请号：CN202110393721.3
申请日：2021-04-13
Applicant: 复旦大学
Abstract: 本发明提供一种基于隐空间搜索的手绘草图引导的图像编辑方法，用于对待编辑图像进行编辑，其特征在于，包括：步骤S1，得到训练用图像；步骤S2，提取训练用图像的边缘图并训练神经网络；步骤S3，提取待编辑图像的边缘图，并根据掩膜将该边缘图与手绘草图结合；步骤S4，使用神经网络计算初始隐空间向量；步骤S5，根据初始隐空间向量生成生成图像；步骤S6，提取生成图像的边缘图并计算其与手绘草图在掩膜区域的特征图距离，同时计算其与待编辑图像在非掩膜区域的欧几里得距离以及感知距离；步骤S7，使用梯度下降算法使三种距离持续减小；步骤S8，将最终生成的生成图像的掩膜区域与待编辑图像的非掩膜区域融合得到最终编辑结果。
-
公开(公告)号：CN113034390A
公开(公告)日：2021-06-25
申请号：CN202110286255.9
申请日：2021-03-17
Applicant: 复旦大学
Abstract: 本发明涉及一种基于小波先验注意力的图像修复方法及系统，包括以下步骤：获取多张原始图像；基于原始图像构筑遮掩图像；分别对各个遮掩图像进行Haar小波变换，得到遮掩图像在不同分辨率下的高频小波信息，以及分辨率为遮掩图像的1/2的训练图像；建立图像修复网络，基于原始图像、训练图像和遮掩图像的高频小波信息进行图像修复网络的训练，得到图像修复模型；使用图像修复模型进行图像修复。与现有技术相比，本发明利用原始图像、遮掩图像和遮掩图像的高频小波信息进行图像修复网络的训练，提供了图像修复中一些关键的结构信息和高频信息，同时引入了注意力偏移模块，提升了图像修复模型的效率，得到的图像修复模型能更好的还原结构信息。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.016 seconds)
