城市场景空间可变环境光照的数据采集与估计方法及装置

    公开(公告)号:CN116416364B

    公开(公告)日:2023-11-03

    申请号:CN202211311444.8

    申请日:2022-10-25

    Applicant: 北京大学

    Abstract: 本发明公开了一种城市场景空间可变环境光照的数据采集与估计方法及装置,通过将室外空间可变光照表示为解耦空间中的不同光照成分,光照估计的效果得到了提升,并且该光照表示相较于非参数化的表示更加紧凑从而节约计算资源,同时光照成分的解耦特性也支持了具有物理含义的光照编辑。此外,本发明使用深度学习的方法,结合新提出的解耦空间光照表示设计编码网络与光照估计网络,实现了端到端的室外场景空间可变环境光照估计,并且从视觉效果和定量评价上较现有技术有较大改善。

    一种图像反射分离方法及装置

    公开(公告)号:CN111080669B

    公开(公告)日:2023-09-19

    申请号:CN201911066820.X

    申请日:2019-11-04

    Applicant: 北京大学

    Abstract: 本发明公开了一种图像反射分离方法及装置,方法包括:将同一视点场景的图像组输入已训练的参数预测网络,由参数预测网络基于该图像组预测得到玻璃几何参数,该图像组由一帧偏振图像和一帧非偏振图像组成或者由两帧偏振角度不同的偏振图像组成;利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数;依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。通过将输入图像减少到两帧图像,减小了数据获取的难度,能够在手机相机、监控设备等设备中部署,扩大了算法应用范围。本方案充分利用了光的偏振特性,由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离,可提升输出背景图像和反射图像的质量。

    一种由颜色标符指导的自动着色算法及装置

    公开(公告)号:CN115690288B

    公开(公告)日:2023-05-16

    申请号:CN202211368563.7

    申请日:2022-11-03

    Applicant: 北京大学

    Abstract: 本发明公开了一种由颜色标符指导的自动着色算法及装置,通过端到端的着色Transformer结构的设计,在图像着色任务上的着色效果大大超越之前的着色方法。同时,通过设计全新的灰度选择模块,减小可选颜色的范围从而减少不合理着色现象的发生。由于没有引入额外的外部先验,本发明的模型可以适合更多通用场景。此外,引入color token的概念,从而将着色任务看做是分类任务来提升色彩饱和度。设计了color attention和color query的模块来指导灰度图像特征和color token之间的交互,从而生成视觉上美观并且合理的着色结果。

    一种由颜色标符指导的自动着色算法及装置

    公开(公告)号:CN115690288A

    公开(公告)日:2023-02-03

    申请号:CN202211368563.7

    申请日:2022-11-03

    Applicant: 北京大学

    Abstract: 本发明公开了一种由颜色标符指导的自动着色算法及装置,通过端到端的着色Transformer结构的设计,在图像着色任务上的着色效果大大超越之前的着色方法。同时,通过设计全新的灰度选择模块,减小可选颜色的范围从而减少不合理着色现象的发生。由于没有引入额外的外部先验,本发明的模型可以适合更多通用场景。此外,引入color token的概念,从而将着色任务看做是分类任务来提升色彩饱和度。设计了color attention和color query的模块来指导灰度图像特征和color token之间的交互,从而生成视觉上美观并且合理的着色结果。

    基于语言的解耦合条件注入灰度图像彩色化方法

    公开(公告)号:CN113554733B

    公开(公告)日:2022-02-01

    申请号:CN202110859533.5

    申请日:2021-07-28

    Applicant: 北京大学

    Abstract: 基于语言的解耦合条件注入灰度图像彩色化方法,涉及图像处理技术领域,解决现有技术存在的颜色与事物的不匹配问题及颜色与事物的耦合问题,本发明利用提取器对原始Caption进行关键词的提取,然后利用检测器对精简的Caption进行补全后输入到解耦合的条件注入模块,在将Caption注入到神经网络时,利用Step D‑A‑I完成:分离Caption中表示颜色和表示物体的两部分,用表示物体的部分进行定位,表示颜色的部分进行相应部位的颜色分配。实现了文本中事物定位任务与颜色注入任务的分离。使得最后得到的彩色图像满足本文的要求。

    室外自然场景光照估计方法及装置

    公开(公告)号:CN113572962A

    公开(公告)日:2021-10-29

    申请号:CN202110859519.5

    申请日:2021-07-28

    Applicant: 北京大学

    Abstract: 室外自然场景光照估计方法及装置,涉及图像处理技术领域,解决现有技术基于参数重建的光照表现力受限,无法有效表示所有方向摄入的光线强度,无法保证深度神经网络对于多样化数据的需求,以及无法估计该图片中不同位置所对应的光照信息等问题,装置包括包括合成数据采集模块、本征图像分解模块、图像空间到全景空间映射模块和全景光照信息补全模块;通过批量生成高质量的城市场景光照采集数据,使室外光照估计由仅能估计全局光照到可以支持估计全局光照和局部光照。通过对合成数据采集与筛选,大大减小了数据获取的难度和时间,扩大了算法的应用范围。采用深度学习的方法,有效提高了估计光照的质量。

    基于单帧图像的三维人脸重建方法、装置、设备及介质

    公开(公告)号:CN110428491B

    公开(公告)日:2021-05-04

    申请号:CN201910550324.5

    申请日:2019-06-24

    Applicant: 北京大学

    Abstract: 本申请公开了一种基于单帧图像的三维人脸重建方法、装置、设备及存储介质,获取二维人脸图像,将二维人脸图像输入预设三维人脸模型中进行正映射,得到与二维人脸图像对应的人脸法向量映射图和人脸纹理映射图,将人脸法向量映射图和人脸纹理映射图输入至人脸表观属性分解网络中,得到与二维人脸图像对应的人脸表观属性分解结果,将人脸表观属性分解结果输入预设三维人脸模型中进行反映射,得到反映射结果,根据反映射结果重建三维人脸图像,基于上述方案可以得到完整的人脸三维模型以及准确分离出的完整人脸表观属性,从而提高了人脸建模结果的准确性。

    城市场景空间可变环境光照的数据采集与估计方法及装置

    公开(公告)号:CN116416364A

    公开(公告)日:2023-07-11

    申请号:CN202211311444.8

    申请日:2022-10-25

    Applicant: 北京大学

    Abstract: 本发明公开了一种城市场景空间可变环境光照的数据采集与估计方法及装置,通过将室外空间可变光照表示为解耦空间中的不同光照成分,光照估计的效果得到了提升,并且该光照表示相较于非参数化的表示更加紧凑从而节约计算资源,同时光照成分的解耦特性也支持了具有物理含义的光照编辑。此外,本发明使用深度学习的方法,结合新提出的解耦空间光照表示设计编码网络与光照估计网络,实现了端到端的室外场景空间可变环境光照估计,并且从视觉效果和定量评价上较现有技术有较大改善。

    一种图像反射分离方法及装置

    公开(公告)号:CN111080669A

    公开(公告)日:2020-04-28

    申请号:CN201911066820.X

    申请日:2019-11-04

    Applicant: 北京大学

    Abstract: 本发明公开了一种图像反射分离方法及装置,方法包括:将同一视点场景的图像组输入已训练的参数预测网络,由参数预测网络基于该图像组预测得到玻璃几何参数,该图像组由一帧偏振图像和一帧非偏振图像组成或者由两帧偏振角度不同的偏振图像组成;利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数;依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。通过将输入图像减少到两帧图像,减小了数据获取的难度,能够在手机相机、监控设备等设备中部署,扩大了算法应用范围。本方案充分利用了光的偏振特性,由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离,可提升输出背景图像和反射图像的质量。

    基于语言的解耦合条件注入灰度图像彩色化方法

    公开(公告)号:CN113554733A

    公开(公告)日:2021-10-26

    申请号:CN202110859533.5

    申请日:2021-07-28

    Applicant: 北京大学

    Abstract: 基于语言的解耦合条件注入灰度图像彩色化方法,涉及图像处理技术领域,解决现有技术存在的颜色与事物的不匹配问题及颜色与事物的耦合问题,本发明利用提取器对原始Caption进行关键词的提取,然后利用检测器对精简的Caption进行补全后输入到解耦合的条件注入模块,在将Caption注入到神经网络时,利用Step D‑A‑I完成:分离Caption中表示颜色和表示物体的两部分,用表示物体的部分进行定位,表示颜色的部分进行相应部位的颜色分配。实现了文本中事物定位任务与颜色注入任务的分离。使得最后得到的彩色图像满足本文的要求。

Patent Agency Ranking