-
公开(公告)号:CN118710533A
公开(公告)日:2024-09-27
申请号:CN202410812633.6
申请日:2024-06-22
Applicant: 北京大学
IPC: G06T5/70 , G06N3/0464 , G06N3/08 , G06T7/194 , G06N3/0442 , G06T3/4038
Abstract: 本发明提供一种文本辅助的反光去除方法,包括:输入数据编码、迭代优化控制条件、多条件引导机制和去噪过程4个步骤,每个步骤均通过神经网络中相应设计的模块来实现;通过文本辅助提供语义信息进行反光去除,大大提升实际使用的便利性,并使反光去除的效果超过以往的单张图像的方法;对于扩散模型中遇到的不准确的初始控制条件,能在迭代中进行优化,让扩散模型去除反光后恢复出的背景层保证颜色和结构上的准确性,并且能处理复杂困难的反光场景,如低背景可见度或饱和反光的情况;构建的带有文本提示的数据集,适用文本辅助的反光去除方法的训练和测试,本方法设计科学合理,简单可靠,适合推广。
-
公开(公告)号:CN117319806B
公开(公告)日:2024-08-20
申请号:CN202311320452.3
申请日:2023-10-12
Applicant: 北京大学
IPC: H04N23/741 , H04N23/81 , H04N23/73
Abstract: 本发明公开了一种基于事件相机辅助的暗光视频增强方法及装置,涉及视频生成技术领域。本发明通过引入高时间分辨率的事件相机,辅助暗光视频帧之间运动信息及其相关性的提取,利用多帧对齐和融合的思想增强暗光视频帧的对比度和信噪比,其增强结果大大超越现有的暗光视频增强方法。相比于现有技术要求事件相机和帧相机在空间上准确对齐,本发明通过多模态相关性建模模块能够应对在现实暗光高速场景中事件相机和帧相机非准确对齐的情况,适用范围大。
-
公开(公告)号:CN116456183B
公开(公告)日:2023-09-26
申请号:CN202310425817.2
申请日:2023-04-20
Applicant: 北京大学
IPC: H04N23/60 , H04N23/745 , H04N23/90 , H04N23/951 , H04N25/57 , H04N25/60 , G06T5/00 , G06T5/50 , G06T3/40 , G06V10/80 , G06V10/82 , G06N3/044 , G06N3/0464 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种事件相机引导下的高动态范围视频生成方法及系统,采用传统RGB工业相机和彩色事件相机的混合相机系统,并包括以下步骤:S1、利用事件循环卷积编码器处理输入的体素网格序列E得到事件特征,利用图像循环卷积编码器处理输入线性LDR视频序列L得到图像特征,并在共享特征隐空间中对齐事件特征和图像特征的多模态表达;S2、通过融合模块考虑多种模态的置信度,针对多模态表达特征逐层进行多模态融合,得到融合特征;S3、HDR视频重建:利用解码器重建得到HDR图像序列。本发明有效解决了重建视频存在的严重闪烁问题,大大提高了高动态范围视频生成质量。
-
公开(公告)号:CN116456183A
公开(公告)日:2023-07-18
申请号:CN202310425817.2
申请日:2023-04-20
Applicant: 北京大学
IPC: H04N23/60 , H04N23/745 , H04N23/90 , H04N23/951 , H04N25/57 , H04N25/60 , G06T5/00 , G06T5/50 , G06T3/40 , G06V10/80 , G06V10/82 , G06N3/044 , G06N3/0464 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种事件相机引导下的高动态范围视频生成方法及系统,采用传统RGB工业相机和彩色事件相机的混合相机系统,并包括以下步骤:S1、利用事件循环卷积编码器处理输入的体素网格序列E得到事件特征,利用图像循环卷积编码器处理输入线性LDR视频序列L得到图像特征,并在共享特征隐空间中对齐事件特征和图像特征的多模态表达;S2、通过融合模块考虑多种模态的置信度,针对多模态表达特征逐层进行多模态融合,得到融合特征;S3、HDR视频重建:利用解码器重建得到HDR图像序列。本发明有效解决了重建视频存在的严重闪烁问题,大大提高了高动态范围视频生成质量。
-
公开(公告)号:CN118781255A
公开(公告)日:2024-10-15
申请号:CN202410769824.9
申请日:2024-06-14
Applicant: 北京大学
IPC: G06T15/50 , G06T15/06 , G06T7/60 , G06N3/0455 , G06N3/0464
Abstract: 一种基于事件相机的实时光度立体视觉方法及装置,属于计算机视觉领域,该方法包括:光照模式设计;利用事件相机同时采集被测试物体因光照变化产生的光照信号和同步信号;利用同步信号标定其它事件发生时的光照方向,实现同步采集;从每对连续发生的事件出发,构造与被测试物体表面法线直接相关的零化向量;零化向量融合求解表面法线。本发明从事件相机触发的基本模型出发,重建被测试物体表面法线,减少多个相机和同步的成本;利用事件相机高事件分辨率的特性,在连续变换光源下进行采集,提升数据采样密度,改善法线估计质量;利用事件相机高动态范围特性,通过原生高动态范围、压缩事件表达,提升数据采集速度和质量。
-
公开(公告)号:CN117319806A
公开(公告)日:2023-12-29
申请号:CN202311320452.3
申请日:2023-10-12
Applicant: 北京大学
IPC: H04N23/741 , H04N23/81 , H04N23/73
Abstract: 本发明公开了一种基于事件相机辅助的暗光视频增强方法及装置,涉及视频生成技术领域。本发明通过引入高时间分辨率的事件相机,辅助暗光视频帧之间运动信息及其相关性的提取,利用多帧对齐和融合的思想增强暗光视频帧的对比度和信噪比,其增强结果大大超越现有的暗光视频增强方法。相比于现有技术要求事件相机和帧相机在空间上准确对齐,本发明通过多模态相关性建模模块能够应对在现实暗光高速场景中事件相机和帧相机非准确对齐的情况,适用范围大。
-
-
-
-
-