-
公开(公告)号:CN117319806A
公开(公告)日:2023-12-29
申请号:CN202311320452.3
申请日:2023-10-12
Applicant: 北京大学
IPC: H04N23/741 , H04N23/81 , H04N23/73
Abstract: 本发明公开了一种基于事件相机辅助的暗光视频增强方法及装置,涉及视频生成技术领域。本发明通过引入高时间分辨率的事件相机,辅助暗光视频帧之间运动信息及其相关性的提取,利用多帧对齐和融合的思想增强暗光视频帧的对比度和信噪比,其增强结果大大超越现有的暗光视频增强方法。相比于现有技术要求事件相机和帧相机在空间上准确对齐,本发明通过多模态相关性建模模块能够应对在现实暗光高速场景中事件相机和帧相机非准确对齐的情况,适用范围大。
-
公开(公告)号:CN117319806B
公开(公告)日:2024-08-20
申请号:CN202311320452.3
申请日:2023-10-12
Applicant: 北京大学
IPC: H04N23/741 , H04N23/81 , H04N23/73
Abstract: 本发明公开了一种基于事件相机辅助的暗光视频增强方法及装置,涉及视频生成技术领域。本发明通过引入高时间分辨率的事件相机,辅助暗光视频帧之间运动信息及其相关性的提取,利用多帧对齐和融合的思想增强暗光视频帧的对比度和信噪比,其增强结果大大超越现有的暗光视频增强方法。相比于现有技术要求事件相机和帧相机在空间上准确对齐,本发明通过多模态相关性建模模块能够应对在现实暗光高速场景中事件相机和帧相机非准确对齐的情况,适用范围大。
-
公开(公告)号:CN116456183B
公开(公告)日:2023-09-26
申请号:CN202310425817.2
申请日:2023-04-20
Applicant: 北京大学
IPC: H04N23/60 , H04N23/745 , H04N23/90 , H04N23/951 , H04N25/57 , H04N25/60 , G06T5/00 , G06T5/50 , G06T3/40 , G06V10/80 , G06V10/82 , G06N3/044 , G06N3/0464 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种事件相机引导下的高动态范围视频生成方法及系统,采用传统RGB工业相机和彩色事件相机的混合相机系统,并包括以下步骤:S1、利用事件循环卷积编码器处理输入的体素网格序列E得到事件特征,利用图像循环卷积编码器处理输入线性LDR视频序列L得到图像特征,并在共享特征隐空间中对齐事件特征和图像特征的多模态表达;S2、通过融合模块考虑多种模态的置信度,针对多模态表达特征逐层进行多模态融合,得到融合特征;S3、HDR视频重建:利用解码器重建得到HDR图像序列。本发明有效解决了重建视频存在的严重闪烁问题,大大提高了高动态范围视频生成质量。
-
公开(公告)号:CN116456183A
公开(公告)日:2023-07-18
申请号:CN202310425817.2
申请日:2023-04-20
Applicant: 北京大学
IPC: H04N23/60 , H04N23/745 , H04N23/90 , H04N23/951 , H04N25/57 , H04N25/60 , G06T5/00 , G06T5/50 , G06T3/40 , G06V10/80 , G06V10/82 , G06N3/044 , G06N3/0464 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种事件相机引导下的高动态范围视频生成方法及系统,采用传统RGB工业相机和彩色事件相机的混合相机系统,并包括以下步骤:S1、利用事件循环卷积编码器处理输入的体素网格序列E得到事件特征,利用图像循环卷积编码器处理输入线性LDR视频序列L得到图像特征,并在共享特征隐空间中对齐事件特征和图像特征的多模态表达;S2、通过融合模块考虑多种模态的置信度,针对多模态表达特征逐层进行多模态融合,得到融合特征;S3、HDR视频重建:利用解码器重建得到HDR图像序列。本发明有效解决了重建视频存在的严重闪烁问题,大大提高了高动态范围视频生成质量。
-
公开(公告)号:CN116347231B
公开(公告)日:2023-10-10
申请号:CN202310385281.6
申请日:2023-04-12
Applicant: 北京大学
IPC: H04N23/67 , H04N23/60 , H04N23/951
Abstract: 本发明公开了一种基于事件相机的全聚焦成像方法及系统,方法步骤包括拍摄事件焦点堆栈、基于黄金比例搜索算法搜索聚焦时间、重建重聚焦图像和融合重建出焦点堆栈,系统包括混合相机及神经网络中的相应模块。本发明通过基于事件相机的焦点堆栈拍摄过程,更清晰、全面地记录场景信息,同时使用深度学习的方法,有效融合失焦图片与事件焦点堆栈,实现画面重聚焦,产生清晰的全聚焦图像,解决现有技术重建结果质量不稳定、不可靠的问题。
-
公开(公告)号:CN116347231A
公开(公告)日:2023-06-27
申请号:CN202310385281.6
申请日:2023-04-12
Applicant: 北京大学
IPC: H04N23/67 , H04N23/60 , H04N23/951
Abstract: 本发明公开了一种基于事件相机的全聚焦成像方法及系统,方法步骤包括拍摄事件焦点堆栈、基于黄金比例搜索算法搜索聚焦时间、重建重聚焦图像和融合重建出焦点堆栈,系统包括混合相机及神经网络中的相应模块。本发明通过基于事件相机的焦点堆栈拍摄过程,更清晰、全面地记录场景信息,同时使用深度学习的方法,有效融合失焦图片与事件焦点堆栈,实现画面重聚焦,产生清晰的全聚焦图像,解决现有技术重建结果质量不稳定、不可靠的问题。
-
公开(公告)号:CN113837938B
公开(公告)日:2022-09-09
申请号:CN202110859525.0
申请日:2021-07-28
Abstract: 基于动态视觉传感器重建潜在图像的超分辨率方法,涉及事件相机应用技术领域,解决现有技术的重建结中存在灰度图的边缘细节不够锐利,同一像素值灰度不够稳定,以及容易损失动态范围等问题,本发明通过神经网络结构实现,包括潜在灰度图重建和多图像融合两个步骤实现,通过神经网络架构重建高质量的高分辨率灰度图,同时考虑事件信号和灰度图信号,以灰度图为基础重建一系列潜在灰度图,融合出的高分辨率灰度图的像素值稳定且连续。重建多张潜在灰度帧,采用多图超分辨率的方法实现APS灰度图的超分辨率,使得超分辨率重建的质量大大超越之前相关方法的重建效果。本发明使用深度学习的方法,提高了图像超分辨率的质量。
-
公开(公告)号:CN113837938A
公开(公告)日:2021-12-24
申请号:CN202110859525.0
申请日:2021-07-28
Abstract: 基于动态视觉传感器重建潜在图像的超分辨率方法,涉及事件相机应用技术领域,解决现有技术的重建结中存在灰度图的边缘细节不够锐利,同一像素值灰度不够稳定,以及容易损失动态范围等问题,本发明通过神经网络结构实现,包括潜在灰度图重建和多图像融合两个步骤实现,通过神经网络架构重建高质量的高分辨率灰度图,同时考虑事件信号和灰度图信号,以灰度图为基础重建一系列潜在灰度图,融合出的高分辨率灰度图的像素值稳定且连续。重建多张潜在灰度帧,采用多图超分辨率的方法实现APS灰度图的超分辨率,使得超分辨率重建的质量大大超越之前相关方法的重建效果。本发明使用深度学习的方法,提高了图像超分辨率的质量。
-
-
-
-
-
-
-