公开(公告)号：CN116389912B

公开(公告)日：2023-10-10

申请号：CN202310448820.6

申请日：2023-04-24

Applicant: 北京大学

Inventor： 施柏鑫 ,  常亚坤 ,  黄铁军 ,  许超 ,  周矗 ,  洪雨辰 ,  胡力文

IPC: H04N23/741 ,  H04N23/73 ,  H04N23/76

Abstract: 本发明公开了一种脉冲相机融合普通相机重构高帧率高动态范围视频的方法，包括以下步骤：S1、脉冲信号处理：对脉冲相机在时域内累积的光子进行积分获得脉冲重构图像，并进行光流估计；S2、彩色图像预处理：设置彩色工业相机不同曝光时间的循环交替曝光模式，对图像进行亮度矫正，并对模糊图像进行解模糊计算得到一组潜在图像，再对潜在图像重建彩色高帧率，获得无模糊图像；S3、脉冲引导的插帧与融合：使用基于循环卷积神经网络的融合插帧模块，对步骤S1中获取的脉冲重构图像进行上色，同时对步骤S2中求解得到的无模糊图像进行插帧，逐帧输出彩色HDR视频。本发明有效提高了融合图像的质量和帧率，实现高帧率高动态范围成像。

公开(公告)号：CN113592755A

公开(公告)日：2021-11-02

申请号：CN202110859538.8

申请日：2021-07-28

Applicant: 北京大学

Inventor： 施柏鑫 ,  洪雨辰 ,  郑乾 ,  赵泠然 ,  蒋旭东 ,  葛治中

IPC: G06T5/50 ,  G06T3/40 ,  G06N3/04 ,  G06N3/08

Abstract: 基于全景摄像的图像反射消除方法，涉及图像处理技术领域，解决现有技术中采用的反射消除方法存在的相应问题，由数据预处理、粗略反射对齐、精细反射对齐、背景图像恢复四个步骤组成，本发明提出的方法使用全景摄影技术，通过全景图像引入反射场景的内容信息，大幅减轻了反射消除的不适定性，使反射消除的效果大大超越只使用单张混合图像的方法，避免了由于混淆背景场景和反射场景内容导致的反射消除结果退化的问题。提出反射对齐方法将全景图像中的反射场景转化为对应的玻璃反射图像，设计的背景恢复网络根据玻璃反射图像的引导恢复高质量的背景图像。使用单张带玻璃反射干扰区域的全景图像，大大减小了数据获取的难度。

公开(公告)号：CN116389912A

公开(公告)日：2023-07-04

申请号：CN202310448820.6

申请日：2023-04-24

Applicant: 北京大学

Inventor： 施柏鑫 ,  常亚坤 ,  黄铁军 ,  许超 ,  周矗 ,  洪雨辰 ,  胡力文

IPC: H04N23/741 ,  H04N23/73 ,  H04N23/76

Abstract: 本发明公开了一种脉冲相机融合普通相机重构高帧率高动态范围视频的方法，包括以下步骤：S1、脉冲信号处理：对脉冲相机在时域内累积的光子进行积分获得脉冲重构图像，并进行光流估计；S2、彩色图像预处理：设置彩色工业相机不同曝光时间的循环交替曝光模式，对图像进行亮度矫正，并对模糊图像进行解模糊计算得到一组潜在图像，再对潜在图像重建彩色高帧率，获得无模糊图像；S3、脉冲引导的插帧与融合：使用基于循环卷积神经网络的融合插帧模块，对步骤S1中获取的脉冲重构图像进行上色，同时对步骤S2中求解得到的无模糊图像进行插帧，逐帧输出彩色HDR视频。本发明有效提高了融合图像的质量和帧率，实现高帧率高动态范围成像。

公开(公告)号：CN118710533A

公开(公告)日：2024-09-27

申请号：CN202410812633.6

申请日：2024-06-22

Applicant: 北京大学

Inventor： 施柏鑫 ,  钟灏峰 ,  洪雨辰 ,  翁书晨 ,  梁锦秀

IPC: G06T5/70 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/194 ,  G06N3/0442 ,  G06T3/4038

Abstract: 本发明提供一种文本辅助的反光去除方法，包括：输入数据编码、迭代优化控制条件、多条件引导机制和去噪过程4个步骤，每个步骤均通过神经网络中相应设计的模块来实现；通过文本辅助提供语义信息进行反光去除，大大提升实际使用的便利性，并使反光去除的效果超过以往的单张图像的方法；对于扩散模型中遇到的不准确的初始控制条件，能在迭代中进行优化，让扩散模型去除反光后恢复出的背景层保证颜色和结构上的准确性，并且能处理复杂困难的反光场景，如低背景可见度或饱和反光的情况；构建的带有文本提示的数据集，适用文本辅助的反光去除方法的训练和测试，本方法设计科学合理，简单可靠，适合推广。

公开(公告)号：CN113592755B

公开(公告)日：2022-01-11

申请号：CN202110859538.8

申请日：2021-07-28

Applicant: 北京大学

Inventor： 施柏鑫 ,  洪雨辰 ,  郑乾 ,  赵泠然 ,  蒋旭东 ,  葛治中

IPC: G06T5/50 ,  G06T3/40 ,  G06N3/04 ,  G06N3/08

Abstract: 基于全景摄像的图像反射消除方法，涉及图像处理技术领域，解决现有技术中采用的反射消除方法存在的相应问题，由数据预处理、粗略反射对齐、精细反射对齐、背景图像恢复四个步骤组成，本发明提出的方法使用全景摄影技术，通过全景图像引入反射场景的内容信息，大幅减轻了反射消除的不适定性，使反射消除的效果大大超越只使用单张混合图像的方法，避免了由于混淆背景场景和反射场景内容导致的反射消除结果退化的问题。提出反射对齐方法将全景图像中的反射场景转化为对应的玻璃反射图像，设计的背景恢复网络根据玻璃反射图像的引导恢复高质量的背景图像。使用单张带玻璃反射干扰区域的全景图像，大大减小了数据获取的难度。