-
公开(公告)号:CN115598744A
公开(公告)日:2023-01-13
申请号:CN202211219900.6
申请日:2022-10-08
Applicant: 南京大学(CN)
Abstract: 本发明公开了一种基于微透镜阵列的高维光场事件相机及提取方法。该相机包括主镜头、微透镜阵列和动态视觉传感器,微透镜阵列放置在主镜头与动态视觉传感器之间;微透镜阵列位于主镜头的成像空间之后,其阵列中的每个微透镜都能够对主镜头成像进行二次成像;目标场景中的某个亮度变化区域经过主镜头和微透镜阵列两次光学成像后投射至动态视觉传感器,动态视觉传感器的不同位置都能够感知到同一区域的亮度变化,形成多个异步输出。利用本发明能够基于微透镜阵列结合动态视觉传感器实现高维光场事件采集和处理,充分扩展了事件相机的应用场景。
-
公开(公告)号:CN110944200A
公开(公告)日:2020-03-31
申请号:CN201911257216.5
申请日:2019-12-10
Applicant: 南京大学
IPC: H04N19/40 , H04N19/136 , H04N19/103 , H04N19/85 , H04N19/154 , H04N19/597 , H04N21/81
Abstract: 本发明公开了一种有效的评估沉浸式视频转码方案的方法。具体步骤如下:(1)对完整的360°全景视频进行分割切片为多个规则矩形;(2)对分块后的视频中每一帧的各分块进行sobel滤波提取边缘特征信息,在梯度信息域计算连续帧的残差,对残差结果取均值和方差;(3)根据用户的视场位置,结合分块特征,对视场内容进行特征换算和模型参数计算;(4)输入将要应用于当前视频压缩编码的参数,包括分辨率、帧率和量化步长,输出该编码方案对比原始未转码视频的主观感知质量变化。利用本方法能够针对沉浸式观看的用户行为特点进行快速准确的质量预测,预测结果贴近真实用户主观的质量感知数据。
-
公开(公告)号:CN118334074A
公开(公告)日:2024-07-12
申请号:CN202410247969.2
申请日:2024-03-05
Applicant: 南京大学
Abstract: 本发明公开了一种基于双流三维运动建模的iToF多帧对齐方法。其步骤如下:(1)基于不同时刻、不同调制参数的测量帧,计算同一时刻、不同调制参数测量帧之间的局部线性变换系数矩阵;(2)将待对齐时刻的测量帧变换到与目标时刻测量帧相同的调制参数;(3)对不同时刻同一调制参数的测量帧进行同一调制参数间的同模态光流估计,得到三维运动投影在像素平面的位移;(4)将不同时刻不同调制参数的测量帧变换到目标时刻;(5)计算像素对齐后的测量帧因三维运动中的深度变化导致的像素强度变化残差矩阵;(6)将残差矩阵与像素对齐后的测量帧求和,得到对齐后的多张不同调制参数的测量帧。本方法能近无损地补偿因三维运动导致的帧间不对齐。
-
公开(公告)号:CN111696081A
公开(公告)日:2020-09-22
申请号:CN202010419170.9
申请日:2020-05-18
Applicant: 南京大学
Abstract: 本发明公开了一种由视野视频质量推理全景视频质量的方法。具体步骤如下:(1)对完整的360°全景视频进行视觉显著度预测计算;(2)基于视觉显著度计算的结果进行视场坐标计算和对应的权重计算;(3)使用沉浸式的视场视频质量模型进行质量评价,并结合权重计算出被选择的高显著度区域的质量系数;(4)计算未被选中的低显著度区域的质量系数;(5)对高显著度视场区域的质量系数和低显著度区域质量系数进行线性加权求和,得出完整的全景视频质量评价结果。利用本方法能够结合主观用户行为将针对传统平面视频质量评价的方法扩展到360°全景沉浸式视频质量评价场景中,预测结果更加贴近真实用户主观的质量感知规律。
-
公开(公告)号:CN111696081B
公开(公告)日:2024-04-09
申请号:CN202010419170.9
申请日:2020-05-18
Applicant: 南京大学
Abstract: 本发明公开了一种由视野视频质量推理全景视频质量的方法。具体步骤如下:(1)对完整的360°全景视频进行视觉显著度预测计算;(2)基于视觉显著度计算的结果进行视场坐标计算和对应的权重计算;(3)使用沉浸式的视场视频质量模型进行质量评价,并结合权重计算出被选择的高显著度区域的质量系数;(4)计算未被选中的低显著度区域的质量系数;(5)对高显著度视场区域的质量系数和低显著度区域质量系数进行线性加权求和,得出完整的全景视频质量评价结果。利用本方法能够结合主观用户行为将针对传统平面视频质量评价的方法扩展到360°全景沉浸式视频质量评价场景中,预测结果更加贴近真实用户主观的质量感知规律。
-
公开(公告)号:CN115730423A
公开(公告)日:2023-03-03
申请号:CN202211246714.1
申请日:2022-10-12
Applicant: 南京大学
IPC: G06F30/20 , G06F111/10
Abstract: 本发明公开了一种高维光场事件相机的仿真系统及其方法。其仿真方法的步骤如下:(1)构建一个世界坐标系,对待仿真的三维物体模型进行搭建,并设置物体的运动状态,以满足动态视觉传感器所要求的动态场景;(2)在三维物体模型前方按照聚焦开普勒型光场结构搭建光学相机模型,使得光场相机可以捕捉到光线的角度和位置,得到包含光线位置和入射角度的高维光场信息;(3)对获得的高维光场信息,将其映射到二维平面形成图像帧,按照每帧之间的亮度差异将其仿真为事件,最后输出光场事件流。利用本发明能够精准地仿真光场事件流,避免了实际硬件搭建中微透镜阵列标定等过程带来的误差,并且为大批量光场事件数据集的制作提供了简便可行的方法。
-
公开(公告)号:CN110944200B
公开(公告)日:2022-03-15
申请号:CN201911257216.5
申请日:2019-12-10
Applicant: 南京大学
IPC: H04N19/40 , H04N19/136 , H04N19/103 , H04N19/85 , H04N19/154 , H04N19/597 , H04N21/81
Abstract: 本发明公开了一种有效的评估沉浸式视频转码方案的方法。具体步骤如下:(1)对完整的360°全景视频进行分割切片为多个规则矩形;(2)对分块后的视频中每一帧的各分块进行sobel滤波提取边缘特征信息,在梯度信息域计算连续帧的残差,对残差结果取均值和方差;(3)根据用户的视场位置,结合分块特征,对视场内容进行特征换算和模型参数计算;(4)输入将要应用于当前视频压缩编码的参数,包括分辨率、帧率和量化步长,输出该编码方案对比原始未转码视频的主观感知质量变化。利用本方法能够针对沉浸式观看的用户行为特点进行快速准确的质量预测,预测结果贴近真实用户主观的质量感知数据。
-
-
-
-
-
-