-
公开(公告)号:CN113436224B
公开(公告)日:2022-04-26
申请号:CN202110655020.2
申请日:2021-06-11
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于显式构图规则建模的智能图像裁剪方法及装置,属于图像美学与多媒体技术领域,方法包括:i)利用深度卷积网络作为骨架网络对输入图像进行特征提取;ii)对于构图分支,基于类别激活映射技术生成每类构图规则的置信度以及相应的类别激活图,并将其融合为关键要素图;iii)对于裁剪分支,对骨架网络的特征图进一步编码,在原图中预设均匀的锚点,裁剪网络输出这些锚点与标注裁剪框的偏移量;利用关键要素图对每个预设的锚点进行加权,得到预测裁剪框;iv)利用损失函数对整个网络进行优化。本发明关注了裁剪结果的构图可解释性,提高了裁剪结果的构图质量,具有很高的处理速度,实时性强。
-
公开(公告)号:CN107481279B
公开(公告)日:2020-07-07
申请号:CN201710351600.6
申请日:2017-05-18
Applicant: 华中科技大学
Abstract: 本发明公开了一种单目视频深度图计算方法,其特征在于,包括,将待恢复的视频按帧分解成图片;提取每一帧的图片特征点;匹配特征点,形成特征点轨迹;计算全局旋转矩阵和平移向量;优化相机参数;计算选定帧的稠密光流;计算选定帧的深度值获得其深度图。本发明技术方案的方法,采用基于物理机制从运动中恢复结构(SFM)的深度估计方法,将稠密光流作为匹配。这种方法不需要任何训练样本,且没有利用分割以及平面拟合等优化方式,计算量较小。同时,该方法解决了现有技术中由场景稀疏重建到稠密重建过程中,尤其是无纹理区域中,不可能得到所有像素点的深度值的难题,提高了计算效率的同时,保证了深度图的精确度。
-
公开(公告)号:CN107133977A
公开(公告)日:2017-09-05
申请号:CN201710351601.0
申请日:2017-05-18
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于概率产生模型的快速立体匹配方法,包括,提取双目相机所拍摄的一组图像的每个像素点的特征;按照固定间隔采样获得一张图像的采样特征点,并匹配另一张图像上的特征点,筛选出稳定的匹配点;对图像进行三角化分割,获得图像对应的三角集合;确定每个三角形三个顶点上的视差以及该三角形区域视差平面的参数;利用平面参数获得每个视差的先验概率,结合匹配代价计算出视差的后验概率,进一步地获得图像的初始视差图;优化初始视差图。本发明还公开了上述方法的应用。本发明技术方案的方法,提供了一种更加鲁棒的匹配点置信度衡量方法,可以获得更加鲁棒的稳定匹配点;还可以快速进行立体匹配,改善匹配效果。
-
公开(公告)号:CN113763524A
公开(公告)日:2021-12-07
申请号:CN202111101270.8
申请日:2021-09-18
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于物理光学模型和神经网络的双流散景渲染方法及系统,属于计算机视觉技术领域,方法包括:将全聚焦图像转换为RAW格式,并利用视差图、模糊程度参数及聚焦视差参数,得到带符号的散焦图;物理渲染器根据光圈形状参数,对图像中的深度平滑区域进行多风格渲染;神经网络渲染器渲染图像中的深度不连续区域,并预测该区域的概率图;融合物理渲染器和神经网络渲染器的结果;将融合后的散景图像从RAW格式还原为初始格式。本发明不仅能够渲染接近单反相机的散景效果,同时能够自由调整聚焦平面、模糊程度及渲染风格,真实性高、可定制性强。
-
公开(公告)号:CN107018400B
公开(公告)日:2018-06-19
申请号:CN201710227433.4
申请日:2017-04-07
Applicant: 华中科技大学
IPC: H04N13/156 , H04N13/128 , G06N3/08 , G06N3/04
Abstract: 一种将2D视频转换成3D视频的方法,属于模式识别和计算机视觉领域,目的在于消除现有技术场景深度估计和视点合成带来的不可预测误差,同时大大提高计算速度。本发明包括训练阶段和使用阶段,训练阶段依次包括数据输入、特征提取、特征融合、视点合成和参数更新步骤;使用阶段依次包括数据输入、特征提取、特征融合和视点合成步骤。训练阶段对106级的左右格式的3D立体视频电影片进行训练,将场景深度估计和视点合成同时进行优化求解,确定参数,保证了输出右路视图的像素级精度预测,减少了将2D视频转3D视频分成两个任务操作带来的误差;训练完成以后,即可直接进行2D视频到3D视频的转换,可以大大提高转制效率,保证最后输出的3D立体视频的精度。
-
公开(公告)号:CN107018400A
公开(公告)日:2017-08-04
申请号:CN201710227433.4
申请日:2017-04-07
Applicant: 华中科技大学
CPC classification number: G06N3/0454 , G06N3/084 , H04N13/139
Abstract: 一种将2D视频转换成3D视频的方法,属于模式识别和计算机视觉领域,目的在于消除现有技术场景深度估计和视点合成带来的不可预测误差,同时大大提高计算速度。本发明包括训练阶段和使用阶段,训练阶段依次包括数据输入、特征提取、特征融合、视点合成和参数更新步骤;使用阶段依次包括数据输入、特征提取、特征融合和视点合成步骤。训练阶段对106级的左右格式的3D立体视频电影片进行训练,将场景深度估计和视点合成同时进行优化求解,确定参数,保证了输出右路视图的像素级精度预测,减少了将2D视频转3D视频分成两个任务操作带来的误差;训练完成以后,即可直接进行2D视频到3D视频的转换,可以大大提高转制效率,保证最后输出的3D立体视频的精度。
-
公开(公告)号:CN116546183B
公开(公告)日:2024-03-22
申请号:CN202310360298.6
申请日:2023-04-06
Applicant: 华中科技大学
IPC: H04N13/271 , H04N13/275 , G06T7/269 , G06T7/55 , G06T15/20 , G06T3/08 , G06V10/40 , G06V10/82 , G06V10/762 , G06N3/0455 , G06N3/08
Abstract: 本发明属于计算机视觉技术领域,具体涉及一种基于单帧图像的3D动态视频生成方法,包括:确定单帧输入图像的深度图,将输入图像转换为分层深度图像,对分层深度图像进行特征提取,经投射得到3D特征点云;基于每帧待生成RGB图像相对所述输入图像的时间差,对输入图像中的流体进行双向的2D光流估计,并基于流体所在区域的深度信息,将估计得到的每一个方向的光流投射为3D场景流,得到两个方向的3D场景流;基于新的相机视角,采用双向3D场景流对3D特征点云进行双向移动并渲染,得到特征图;将两帧特征图进行加权融合并解码得到上述时间差对应的一帧RGB图像;对各帧RGB图像进行合成,得到3D动态视频。本发明同时解决了场景运动和新视图合成两个难题。
-
公开(公告)号:CN113436224A
公开(公告)日:2021-09-24
申请号:CN202110655020.2
申请日:2021-06-11
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于显式构图规则建模的智能图像裁剪方法及装置,属于图像美学与多媒体技术领域,方法包括:i)利用深度卷积网络作为骨架网络对输入图像进行特征提取;ii)对于构图分支,基于类别激活映射技术生成每类构图规则的置信度以及相应的类别激活图,并将其融合为关键要素图;iii)对于裁剪分支,对骨架网络的特征图进一步编码,在原图中预设均匀的锚点,裁剪网络输出这些锚点与标注裁剪框的偏移量;利用关键要素图对每个预设的锚点进行加权,得到预测裁剪框;iv)利用损失函数对整个网络进行优化。本发明关注了裁剪结果的构图可解释性,提高了裁剪结果的构图质量,具有很高的处理速度,实时性强。
-
公开(公告)号:CN106599805B
公开(公告)日:2019-05-21
申请号:CN201611092073.3
申请日:2016-12-01
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于有监督数据驱动的单目视频深度估计方法,包括以下步骤:(1)获取样本视频序列以及相应的深度序列,作为训练数据集合;(2)使用基于跟踪的超像素分割方法对训练数据集合进行分割,提取各个分割单元的特征;(3)构建结合卷积神经网络与时空条件随机场的网络模型;(4)使用训练数据集合以及分割结果与相应特征,对深度时空卷积神经网络场模型进行训练;(5)对待估计的视频序列进行分割,提取各个分割单元的特征;(6)将待估计的视频序列以及分割结果与相应特征,输入已经训练好的模型中,得到深度序列。本发明兼顾时空一致性与层次关系准确性,提高了单目立体视频质量。
-
公开(公告)号:CN107481279A
公开(公告)日:2017-12-15
申请号:CN201710351600.6
申请日:2017-05-18
Applicant: 华中科技大学
Abstract: 本发明公开了一种单目视频深度图计算方法,其特征在于,包括,将待恢复的视频按帧分解成图片;提取每一帧的图片特征点;匹配特征点,形成特征点轨迹;计算全局旋转矩阵和平移向量;优化相机参数;计算选定帧的稠密光流;计算选定帧的深度值获得其深度图。本发明技术方案的方法,采用基于物理机制从运动中恢复结构(SFM)的深度估计方法,将稠密光流作为匹配。这种方法不需要任何训练样本,且没有利用分割以及平面拟合等优化方式,计算量较小。同时,该方法解决了现有技术中由场景稀疏重建到稠密重建过程中,尤其是无纹理区域中,不可能得到所有像素点的深度值的难题,提高了计算效率的同时,保证了深度图的精确度。
-
-
-
-
-
-
-
-
-