一种基于协同分合学习机制的反射消除方法

    公开(公告)号:CN110827207A

    公开(公告)日:2020-02-21

    申请号:CN201910877757.1

    申请日:2019-09-17

    Applicant: 北京大学

    Abstract: 本发明公开了基于协同分合学习机制的反射消除方法,包括:反射生成网络接收不含反射的背景图像与纯反射图像,通过特征的提取、拼接与解码,获得非线性叠加的合成含反射图像;反射分离网络接收合成含反射图像,基于多任务学习的架构对特征解耦,获得背景图像、纯反射图像与背景图像的梯度图像;将混合图像输入反射分离网络产生预测的背景图像与纯反射图像结果,再将结果输入反射生成网络获得重新合成的混合图像结果,与原始的输入混合图像进行比对形成重建自监督。本发明相比于一般深度学习方法更灵活、高效地完成反射消除。基于真实数据,通过协同分合机制,实现弱监督条件下的三个域之间的相互映射,在学到更好的去反射能力的同时生成更符合物理特性的含反射混合训练图像。

    高速滚动混合比特模式脉冲重建高动态范围视频的方法

    公开(公告)号:CN118368535B

    公开(公告)日:2025-03-04

    申请号:CN202410609926.4

    申请日:2024-05-16

    Applicant: 北京大学

    Abstract: 高速滚动混合比特模式脉冲重建高动态范围视频的方法,属于现代数字摄像领域,包括:利用在时间域上叠加脉冲的方法从拍摄的单比特脉冲流和多比特脉冲流中分段重构图像,获得单比特和多比特脉冲重构图像;利用单比特脉冲在时间域和空间域的全部信息计算多比特脉冲帧间的光流信息,借助光流信息提供的运动信息矫正多比特脉冲重构图像的形变,使用多比特脉冲帧间的光流信息对多比特脉冲重构图像插帧;利用深度学习方法融合单比特脉冲重构图像和多比特脉冲重构图像。本发明减小了数据冗余,加快了读取速度,保留了脉冲相机的高帧率属性,提高了融合图像的质量;同时使用单比特脉冲数据估计光流,并利用光流对多比特脉冲平面进行变形矫正。

    一种面向脉冲相机的高效率高质量图像重建方法及系统

    公开(公告)号:CN119540075A

    公开(公告)日:2025-02-28

    申请号:CN202411586098.3

    申请日:2024-11-08

    Applicant: 北京大学

    Abstract: 一种面向脉冲相机的高效率高质量图像重建方法及系统,属于高速成像技术领域,包括:基于内部统计的显式脉冲表示方法获取显式脉冲表示,基于神经网络的隐式脉冲表示方法获取隐式脉冲表示,将它们进行混合后得到更具表征力的脉冲嵌入特征;将脉冲嵌入特征设为特征金字塔的底层特征来构建一个多层特征金字塔,从多个连续脉冲子流中依次提取出多粒度特征表示;利用顶层金字塔的多头交叉注意力机制对称地捕捉中间特征和时间上下文特征之间的相互依赖性,并获取交互特征;从粗粒度到细粒度渐进地进行运动‑强度交互,并在底层金字塔估计多组运动场,实现时空互补信息的联合细化。本发明提高了脉冲相机图像重建的精度,降低了模型对计算资源的需求。

    一种基于神经辐射场的去除遮挡方法

    公开(公告)号:CN116977360A

    公开(公告)日:2023-10-31

    申请号:CN202310448735.X

    申请日:2023-04-24

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于神经辐射场的去除遮挡方法,通过单场景拍摄的多视角照片,不需要外界知识作为监督,可以自监督地完成场景层面的去除前景;同时通过代价体联合优化相机参数和用掩膜对神经辐射场的场景重建,可以融合多视角的特征,更稳定地联合优化相机位姿和场景重建的过程,更精确地重建整个场景;此外,以渲染得到的光线的双向深度信息为线索,提出一种选择性自监督的机制来探测带遮挡的区域,从而选择性监督非遮挡的区域,引导背景层的重建。

    脉冲相机融合普通相机重构高帧率高动态范围视频的方法

    公开(公告)号:CN116389912B

    公开(公告)日:2023-10-10

    申请号:CN202310448820.6

    申请日:2023-04-24

    Applicant: 北京大学

    Abstract: 本发明公开了一种脉冲相机融合普通相机重构高帧率高动态范围视频的方法,包括以下步骤:S1、脉冲信号处理:对脉冲相机在时域内累积的光子进行积分获得脉冲重构图像,并进行光流估计;S2、彩色图像预处理:设置彩色工业相机不同曝光时间的循环交替曝光模式,对图像进行亮度矫正,并对模糊图像进行解模糊计算得到一组潜在图像,再对潜在图像重建彩色高帧率,获得无模糊图像;S3、脉冲引导的插帧与融合:使用基于循环卷积神经网络的融合插帧模块,对步骤S1中获取的脉冲重构图像进行上色,同时对步骤S2中求解得到的无模糊图像进行插帧,逐帧输出彩色HDR视频。本发明有效提高了融合图像的质量和帧率,实现高帧率高动态范围成像。

    一种基于事件相机的全聚焦成像方法及系统

    公开(公告)号:CN116347231B

    公开(公告)日:2023-10-10

    申请号:CN202310385281.6

    申请日:2023-04-12

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于事件相机的全聚焦成像方法及系统,方法步骤包括拍摄事件焦点堆栈、基于黄金比例搜索算法搜索聚焦时间、重建重聚焦图像和融合重建出焦点堆栈,系统包括混合相机及神经网络中的相应模块。本发明通过基于事件相机的焦点堆栈拍摄过程,更清晰、全面地记录场景信息,同时使用深度学习的方法,有效融合失焦图片与事件焦点堆栈,实现画面重聚焦,产生清晰的全聚焦图像,解决现有技术重建结果质量不稳定、不可靠的问题。

    一种基于事件相机的全聚焦成像方法及系统

    公开(公告)号:CN116347231A

    公开(公告)日:2023-06-27

    申请号:CN202310385281.6

    申请日:2023-04-12

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于事件相机的全聚焦成像方法及系统,方法步骤包括拍摄事件焦点堆栈、基于黄金比例搜索算法搜索聚焦时间、重建重聚焦图像和融合重建出焦点堆栈,系统包括混合相机及神经网络中的相应模块。本发明通过基于事件相机的焦点堆栈拍摄过程,更清晰、全面地记录场景信息,同时使用深度学习的方法,有效融合失焦图片与事件焦点堆栈,实现画面重聚焦,产生清晰的全聚焦图像,解决现有技术重建结果质量不稳定、不可靠的问题。

    一种面向监控场景车窗图像的图像增强方法与系统

    公开(公告)号:CN110807740B

    公开(公告)日:2023-04-18

    申请号:CN201910877750.X

    申请日:2019-09-17

    Applicant: 北京大学

    Abstract: 本发明公开了用于增强监控中车窗图像的图像增强方法与系统,利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声,低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。本发明的优势在于:本发明利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈,并用同一模型恢复多种退化现象;设计了基于车辆再检索任务的内容保持机制,在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外,同时在机器视觉上可提高车辆检索模型的性能。

    基于事件相机辅助的卷帘门效应矫正方法及装置

    公开(公告)号:CN115063312B

    公开(公告)日:2023-03-10

    申请号:CN202210668560.9

    申请日:2022-06-14

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于事件相机辅助的卷帘门效应矫正方法及装置。搭建了事件相机加卷帘快门传统相机的混合相机系统,对同一场景同时进行拍摄得到匹配的卷帘快门图像和事件信号。设计了一个神经网络模型,仅利用一张卷帘快门图像和对应的事件信号,实现卷帘快门矫正并会恢复出高帧率的全局快门图像序列。网络模型包含两个模块分支,从事件信号中提取出运动信息和场景亮度变化信息,分别用于解决卷帘快门效应中的扭曲和遮挡问题。两个模块中间结果通过一个特殊设计的融合优化网络融合在一起得到最后的矫正结果。相比于现有卷帘门矫正方法,本发明的方法矫正结果大幅提升,解决高速运动下运动估计不准的问题,对场景和运动不加限制,应用场景更广。

    基于动态视觉传感器重建潜在图像的超分辨率方法

    公开(公告)号:CN113837938B

    公开(公告)日:2022-09-09

    申请号:CN202110859525.0

    申请日:2021-07-28

    Abstract: 基于动态视觉传感器重建潜在图像的超分辨率方法,涉及事件相机应用技术领域,解决现有技术的重建结中存在灰度图的边缘细节不够锐利,同一像素值灰度不够稳定,以及容易损失动态范围等问题,本发明通过神经网络结构实现,包括潜在灰度图重建和多图像融合两个步骤实现,通过神经网络架构重建高质量的高分辨率灰度图,同时考虑事件信号和灰度图信号,以灰度图为基础重建一系列潜在灰度图,融合出的高分辨率灰度图的像素值稳定且连续。重建多张潜在灰度帧,采用多图超分辨率的方法实现APS灰度图的超分辨率,使得超分辨率重建的质量大大超越之前相关方法的重建效果。本发明使用深度学习的方法,提高了图像超分辨率的质量。

Patent Agency Ranking