带光照感知的具有光照真实感的图像条件重绘制方法

    公开(公告)号:CN118429530A

    公开(公告)日:2024-08-02

    申请号:CN202410503645.0

    申请日:2024-04-25

    Applicant: 北京大学

    Abstract: 本发明公开了一种带光照感知的具有光照真实感的图像条件重绘制方法。提出了带光照感知能力的具有光照真实感图像条件重绘制任务及相应算法,旨在解决当前图像条件重绘制方法在保持图像整体光照真实感和和谐性方面存在的不足。通过从用户给定的背景图像中提取场景光照信息并从用户给定的前景物体语义分割掩码中预测前景物体区域在三维世界中的形状表示,随后计算前景物体对应的照明图作为二维图像上的光照表示,可以根据用户指定的属性重新绘制具有正确光照效果的图像前景物体,同时对应地修改图像背景区域以实现整体光照和谐观感。为了支持数据驱动的训练,采用图形学渲染合成的方法获取了大量成对的参考图像数据,并以此构建包含完整标注的室外场景光照下的多样化数据集。相较于现有图像重绘制方法,本发明的主客观性能大幅提升,重绘制的图像体现出真实且和谐的光照效果。

    三维重建方法、装置、设备及存储介质

    公开(公告)号:CN118351235A

    公开(公告)日:2024-07-16

    申请号:CN202410352394.0

    申请日:2024-03-26

    Abstract: 本申请提出一种三维重建方法、装置、设备及存储介质,该方法包括:获取待重建物体在稀疏视角下各视角对应的偏振图像;基于各偏振图像,计算各视角的出射斯托克斯向量;基于各视角的出射斯托克斯向量对各视角下任一点的法向量和光强进行约束,得到针对各视角下任一点的约束结果;基于各视角下所有点的约束结果,对待重建物体进行重建。本申请实施例在物体的重建过程中对物体的各个点进行法向量约束和光强约束,即在重建过程中利用了视角中的几何信息和光度信息,可以在稀疏视角条件下对高反光率的物体进行重建,提高重建物体的完整性。

    城市场景空间可变环境光照的数据采集与估计方法及装置

    公开(公告)号:CN116416364B

    公开(公告)日:2023-11-03

    申请号:CN202211311444.8

    申请日:2022-10-25

    Applicant: 北京大学

    Abstract: 本发明公开了一种城市场景空间可变环境光照的数据采集与估计方法及装置,通过将室外空间可变光照表示为解耦空间中的不同光照成分,光照估计的效果得到了提升,并且该光照表示相较于非参数化的表示更加紧凑从而节约计算资源,同时光照成分的解耦特性也支持了具有物理含义的光照编辑。此外,本发明使用深度学习的方法,结合新提出的解耦空间光照表示设计编码网络与光照估计网络,实现了端到端的室外场景空间可变环境光照估计,并且从视觉效果和定量评价上较现有技术有较大改善。

    一种建立事件相机与帧相机数据关联的方法及装置

    公开(公告)号:CN116310408B

    公开(公告)日:2023-10-13

    申请号:CN202211515830.9

    申请日:2022-11-29

    Applicant: 北京大学

    Abstract: 本发明公开了一种建立事件相机与帧相机数据关联的方法及装置,基于transformer的神经网络,显式地建立事件相机与帧相机的数据关联,很好地结合了帧相机和事件相机的优势,避免了事件相机位姿估计中的初始解敏感问题,同时保证了精度,使得事件相机和帧相机的组合在不同的应用场景下都表现地更好、更加稳定,可以应用到多个应用场景中,比如深度估计、相机位姿估计等等。此外,本发明的方法和装置,在构造的仿真数据集上进行训练,并在真实数据上取得了比较好的效果。

    一种图像反射分离方法及装置

    公开(公告)号:CN111080669B

    公开(公告)日:2023-09-19

    申请号:CN201911066820.X

    申请日:2019-11-04

    Applicant: 北京大学

    Abstract: 本发明公开了一种图像反射分离方法及装置,方法包括:将同一视点场景的图像组输入已训练的参数预测网络,由参数预测网络基于该图像组预测得到玻璃几何参数,该图像组由一帧偏振图像和一帧非偏振图像组成或者由两帧偏振角度不同的偏振图像组成;利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数;依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。通过将输入图像减少到两帧图像,减小了数据获取的难度,能够在手机相机、监控设备等设备中部署,扩大了算法应用范围。本方案充分利用了光的偏振特性,由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离,可提升输出背景图像和反射图像的质量。

    一种基于可导渲染的场景光照与反射建模方法

    公开(公告)号:CN114972617B

    公开(公告)日:2023-04-07

    申请号:CN202210712261.0

    申请日:2022-06-22

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于可导渲染的场景光照与反射建模方法,设计一种具有发光体多反射的室内场景逆渲染模型,增加几何条件约束,能够生成新视角的图像,这种模型可以很好地描述室内场景中常见的光源,可将光照属性真正分离,很好实现环境重光照任务,并且易于使用梯度下降方法进行恢复,应用范围广泛;同时本发明对光路进行了多次追踪,并分析了使用可导光线追踪方法进行多次追踪时所存在的三种二义性问题,分别设计了三种消除歧义的方法来解决它们,恢复效果更加真实,本发明还设计一种基于蒙特卡洛光线追踪算法的可导渲染器,该渲染器融入了我们设计的具有发光体多反射的室内场景逆渲染模型,并用来监督模型的训练学习。

    一种基于协同分合学习机制的反射消除方法

    公开(公告)号:CN110827207B

    公开(公告)日:2022-12-02

    申请号:CN201910877757.1

    申请日:2019-09-17

    Applicant: 北京大学

    Abstract: 本发明公开了基于协同分合学习机制的反射消除方法,包括:反射生成网络接收不含反射的背景图像与纯反射图像,通过特征的提取、拼接与解码,获得非线性叠加的合成含反射图像;反射分离网络接收合成含反射图像,基于多任务学习的架构对特征解耦,获得背景图像、纯反射图像与背景图像的梯度图像;将混合图像输入反射分离网络产生预测的背景图像与纯反射图像结果,再将结果输入反射生成网络获得重新合成的混合图像结果,与原始的输入混合图像进行比对形成重建自监督。本发明相比于一般深度学习方法更灵活、高效地完成反射消除。基于真实数据,通过协同分合机制,实现弱监督条件下的三个域之间的相互映射,在学到更好的去反射能力的同时生成更符合物理特性的含反射混合训练图像。

    一种去除图像摩尔纹的方法及装置

    公开(公告)号:CN110738609B

    公开(公告)日:2022-05-06

    申请号:CN201910860840.8

    申请日:2019-09-11

    Applicant: 北京大学

    Abstract: 本发明公开了一种去除图像摩尔纹的方法,包括:将原始图像输入到模型,通过模型中的边缘检测网络利用原始图像获得目标边缘特征图输出到模型中的多尺度融合网络;通过模型中的特征提取层提取原始图像的特征得到原始特征图输出到模型中的多尺度融合网络和合成网络;通过多尺度融合网络利用原始特征图和目标边缘特征图获取多尺度融合特征图输出到模型中的合成网络;通过模型中的分类网络利用原始图像获得类别特征图输出到模型中的合成网络;通过合成网络利用原始特征图、类别特征图及多尺度融合特征图生成无摩尔纹图像。本发明对不同类型的摩尔纹去除具有更强的泛化能力和鲁棒性,在有效去除摩尔纹的同时,还能够更好地保留原始图片中的内容细节。

    基于全景摄像的图像反射消除方法

    公开(公告)号:CN113592755B

    公开(公告)日:2022-01-11

    申请号:CN202110859538.8

    申请日:2021-07-28

    Applicant: 北京大学

    Abstract: 基于全景摄像的图像反射消除方法,涉及图像处理技术领域,解决现有技术中采用的反射消除方法存在的相应问题,由数据预处理、粗略反射对齐、精细反射对齐、背景图像恢复四个步骤组成,本发明提出的方法使用全景摄影技术,通过全景图像引入反射场景的内容信息,大幅减轻了反射消除的不适定性,使反射消除的效果大大超越只使用单张混合图像的方法,避免了由于混淆背景场景和反射场景内容导致的反射消除结果退化的问题。提出反射对齐方法将全景图像中的反射场景转化为对应的玻璃反射图像,设计的背景恢复网络根据玻璃反射图像的引导恢复高质量的背景图像。使用单张带玻璃反射干扰区域的全景图像,大大减小了数据获取的难度。

    一种面向监控场景车窗图像的图像增强方法与系统

    公开(公告)号:CN110807740A

    公开(公告)日:2020-02-18

    申请号:CN201910877750.X

    申请日:2019-09-17

    Applicant: 北京大学

    Abstract: 本发明公开了用于增强监控中车窗图像的图像增强方法与系统,利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声,低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。本发明的优势在于:本发明利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈,并用同一模型恢复多种退化现象;设计了基于车辆再检索任务的内容保持机制,在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外,同时在机器视觉上可提高车辆检索模型的性能。

Patent Agency Ranking