-
公开(公告)号:CN118447103B
公开(公告)日:2025-04-08
申请号:CN202410602716.2
申请日:2024-05-15
Applicant: 北京大学
IPC: G06T7/80 , G06T5/70 , G06T5/90 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06T5/60
Abstract: 基于事件相机引导的直接光照和间接光照分离方法,属于光照分离方法领域,包括:拍摄阴影变化触发的事件信号、灰度初始分离结果估计、灰度初始分离结果优化和光照分离结果颜色补偿。本发明只需在场景中拍摄一张照片与一段事件数据,缩短了数据拍摄时间,可应用到动态场景之中。事件相机的事件触发模型使其能离散地记录场景光照变化中的连续变化信息,在实现高时间分辨率的同时降低了数据吞吐量。本发明成功融合了事件相机和机器视觉传统相机输出的图像,能从单张图像与光照变化触发的事件信号重构出彩色高质量的直接光照和间接光照分离结果。同时使用深度学习方法,有效结合场景图像和事件信号,在高频间接光照场景下拥有更好的分离效果。
-
公开(公告)号:CN118447147A
公开(公告)日:2024-08-06
申请号:CN202410556421.6
申请日:2024-05-07
Applicant: 北京大学
Abstract: 利用近场和远距光源的三维场景逆渲染重建方法,属于三维重建技术领域,包括:获取同一物体在不同视角和不同光源条件下的外观图像作为输入图像,对输入图像进行标注得到相机位姿;场景形状、材质、辐射场与光源建模;基于体渲染的场景形状场与辐射场重建;基于表面渲染的场景材质场与光源重建;构建并导出带材质的三维模型。本发明利用输入图像中包含的包括环境光源在内的所有远距和近场光源条件,进行光源和材质间的消歧,能更加有效地利用可控的光源和不同的环境光源条件,得到更加精细且更加准确的物体材质重建;同时使用更加先进的多分辨率哈希网格位置编码作为神经场的表示方式,在不降低质量的同时对场景进行更高速的三维逆渲染重建。
-
公开(公告)号:CN116416364A
公开(公告)日:2023-07-11
申请号:CN202211311444.8
申请日:2022-10-25
Applicant: 北京大学
IPC: G06T15/50 , G06T9/00 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种城市场景空间可变环境光照的数据采集与估计方法及装置,通过将室外空间可变光照表示为解耦空间中的不同光照成分,光照估计的效果得到了提升,并且该光照表示相较于非参数化的表示更加紧凑从而节约计算资源,同时光照成分的解耦特性也支持了具有物理含义的光照编辑。此外,本发明使用深度学习的方法,结合新提出的解耦空间光照表示设计编码网络与光照估计网络,实现了端到端的室外场景空间可变环境光照估计,并且从视觉效果和定量评价上较现有技术有较大改善。
-
公开(公告)号:CN116310408A
公开(公告)日:2023-06-23
申请号:CN202211515830.9
申请日:2022-11-29
Applicant: 北京大学
IPC: G06V10/74 , G06V10/40 , G06V10/82 , G06N3/08 , G06V10/774 , G06N3/0464 , G06V20/40
Abstract: 本发明公开了一种建立事件相机与帧相机数据关联的方法及装置,基于transformer的神经网络,显式地建立事件相机与帧相机的数据关联,很好地结合了帧相机和事件相机的优势,避免了事件相机位姿估计中的初始解敏感问题,同时保证了精度,使得事件相机和帧相机的组合在不同的应用场景下都表现地更好、更加稳定,可以应用到多个应用场景中,比如深度估计、相机位姿估计等等。此外,本发明的方法和装置,在构造的仿真数据集上进行训练,并在真实数据上取得了比较好的效果。
-
公开(公告)号:CN115063312A
公开(公告)日:2022-09-16
申请号:CN202210668560.9
申请日:2022-06-14
Applicant: 北京大学
Abstract: 本发明公开了一种基于事件相机辅助的卷帘门效应矫正方法及装置。搭建了事件相机加卷帘快门传统相机的混合相机系统,对同一场景同时进行拍摄得到匹配的卷帘快门图像和事件信号。设计了一个神经网络模型,仅利用一张卷帘快门图像和对应的事件信号,实现卷帘快门矫正并会恢复出高帧率的全局快门图像序列。网络模型包含两个模块分支,从事件信号中提取出运动信息和场景亮度变化信息,分别用于解决卷帘快门效应中的扭曲和遮挡问题。两个模块中间结果通过一个特殊设计的融合优化网络融合在一起得到最后的矫正结果。相比于现有卷帘门矫正方法,本发明的方法矫正结果大幅提升,解决高速运动下运动估计不准的问题,对场景和运动不加限制,应用场景更广。
-
公开(公告)号:CN113592755A
公开(公告)日:2021-11-02
申请号:CN202110859538.8
申请日:2021-07-28
Applicant: 北京大学
Abstract: 基于全景摄像的图像反射消除方法,涉及图像处理技术领域,解决现有技术中采用的反射消除方法存在的相应问题,由数据预处理、粗略反射对齐、精细反射对齐、背景图像恢复四个步骤组成,本发明提出的方法使用全景摄影技术,通过全景图像引入反射场景的内容信息,大幅减轻了反射消除的不适定性,使反射消除的效果大大超越只使用单张混合图像的方法,避免了由于混淆背景场景和反射场景内容导致的反射消除结果退化的问题。提出反射对齐方法将全景图像中的反射场景转化为对应的玻璃反射图像,设计的背景恢复网络根据玻璃反射图像的引导恢复高质量的背景图像。使用单张带玻璃反射干扰区域的全景图像,大大减小了数据获取的难度。
-
公开(公告)号:CN111080669A
公开(公告)日:2020-04-28
申请号:CN201911066820.X
申请日:2019-11-04
Applicant: 北京大学
Abstract: 本发明公开了一种图像反射分离方法及装置,方法包括:将同一视点场景的图像组输入已训练的参数预测网络,由参数预测网络基于该图像组预测得到玻璃几何参数,该图像组由一帧偏振图像和一帧非偏振图像组成或者由两帧偏振角度不同的偏振图像组成;利用玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数;依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像。通过将输入图像减少到两帧图像,减小了数据获取的难度,能够在手机相机、监控设备等设备中部署,扩大了算法应用范围。本方案充分利用了光的偏振特性,由预测得到的玻璃几何参数进行逐像素计算以实现图像的反射分离,可提升输出背景图像和反射图像的质量。
-
公开(公告)号:CN110738609A
公开(公告)日:2020-01-31
申请号:CN201910860840.8
申请日:2019-09-11
Applicant: 北京大学
Abstract: 本发明公开了一种去除图像摩尔纹的方法,包括:将原始图像输入到模型,通过模型中的边缘检测网络利用原始图像获得目标边缘特征图输出到模型中的多尺度融合网络;通过模型中的特征提取层提取原始图像的特征得到原始特征图输出到模型中的多尺度融合网络和合成网络;通过多尺度融合网络利用原始特征图和目标边缘特征图获取多尺度融合特征图输出到模型中的合成网络;通过模型中的分类网络利用原始图像获得类别特征图输出到模型中的合成网络;通过合成网络利用原始特征图、类别特征图及多尺度融合特征图生成无摩尔纹图像。本发明对不同类型的摩尔纹去除具有更强的泛化能力和鲁棒性,在有效去除摩尔纹的同时,还能够更好地保留原始图片中的内容细节。
-
公开(公告)号:CN118710807A
公开(公告)日:2024-09-27
申请号:CN202410812616.2
申请日:2024-06-22
Applicant: 北京大学
Abstract: 本发明提供一种基于神经辐射场的水下场景表征方法,通过神经网络中设计相应的模块来实现,包括:混合渐进采样模块、场景参数估计模块、混合体积渲染模块,对于没有时序的水下数据集,实现水下场景高质量的静态重建,提高了在此类数据集上的三维重建表现;对于存在时序信息的水下数据集,实现水下场景高质量的动态重建,恢复水下生物的运动轨迹与光照的实时变化,扩大了算法的应用范围;渲染速度上大大超越了现有的其它水下场景三维重建的方法,提高了在水体消除任务上的表现;在水体迁移任务上实现了更加真实的效果,设计科学合理,适合推广应用。
-
公开(公告)号:CN118710533A
公开(公告)日:2024-09-27
申请号:CN202410812633.6
申请日:2024-06-22
Applicant: 北京大学
IPC: G06T5/70 , G06N3/0464 , G06N3/08 , G06T7/194 , G06N3/0442 , G06T3/4038
Abstract: 本发明提供一种文本辅助的反光去除方法,包括:输入数据编码、迭代优化控制条件、多条件引导机制和去噪过程4个步骤,每个步骤均通过神经网络中相应设计的模块来实现;通过文本辅助提供语义信息进行反光去除,大大提升实际使用的便利性,并使反光去除的效果超过以往的单张图像的方法;对于扩散模型中遇到的不准确的初始控制条件,能在迭代中进行优化,让扩散模型去除反光后恢复出的背景层保证颜色和结构上的准确性,并且能处理复杂困难的反光场景,如低背景可见度或饱和反光的情况;构建的带有文本提示的数据集,适用文本辅助的反光去除方法的训练和测试,本方法设计科学合理,简单可靠,适合推广。
-
-
-
-
-
-
-
-
-