-
公开(公告)号:CN116703760A
公开(公告)日:2023-09-05
申请号:CN202310612118.9
申请日:2023-05-29
Applicant: 上海大学
IPC: G06T5/00 , G06N3/0475 , G06N3/0455 , G06N3/048
Abstract: 本发明属于计算机视觉领域,公开了一种基于时间注意力和生成对抗网络的视频修复方法,对训练集包含的视频进行预处理,随机生成每幅视频帧的二值掩膜图;然后将视频帧及其对应的掩膜图输入生成对抗网络,进行深度网络模型训练;再将破损视频帧输入步骤2所训练的网络模型,输出修复结果。本发明根据视频帧之间内容具有连续性的特性,提出了时间注意力,从而指定了合理的注意力查询区域,解决了注意力查询区域不合理的问题,有效地提高了破损视频的修复质量。本发明可以应用于电影后期处理、视频编辑等领域。
-
公开(公告)号:CN107798666B
公开(公告)日:2021-08-10
申请号:CN201711143060.9
申请日:2017-11-17
Applicant: 上海大学
Abstract: 本发明涉及一种基于稀疏颜色特征的老电影褪色闪烁修复方法。通过联合待修复序列的多帧图像建立了简单的色彩修复模型,包括四个关键步骤,首先,将待修复的图像序列进行分镜,并为每一个子序列选择参考帧;其次,提取子序列的相关颜色区域,构建稀疏颜色特征矩阵;然后,使用低秩矩阵分解方法,估计未知修复参数;最后,采用两步修复策略,先利用修复参数对普通帧进行颜色一致性校正,再通过参考帧的修复参数进行颜色恢复性校正,最终得到修复后序列。本发明方法流程清晰、结构完成,联合多帧的修复模式考虑了序列前后帧的连续性,对褪色闪烁的修复效果良好。
-
公开(公告)号:CN110533615A
公开(公告)日:2019-12-03
申请号:CN201910810872.7
申请日:2019-08-30
Applicant: 上海大学
Abstract: 本发明涉及一种基于生成对抗网络的老电影大面积破损修复方法,该方法针对老电影大面积破损设计了一种修复方法,包括三个步骤:(1)对待修复老电影进行预处理,标记破损帧掩膜;(2)将老电影中未破损序列输入生成对抗网络,进行深度网络模型训练;(3)将老电影中破损序列输入步骤2所训练的网络模型,最终输出修复结果。本方法所设计生成对抗网络的生成网络采用逐帧修复的方式,接收破损帧和已修复帧为输入,判别网络对抗式地判别生成网络输出结果的真假,通过多损失联合的目标函数实现网络的训练。该方法相较现有方法在修复质量和效率方面都有一定的提高,具有工程应用价值。
-
公开(公告)号:CN105809673B
公开(公告)日:2019-04-02
申请号:CN201610120770.9
申请日:2016-03-03
Applicant: 上海大学
Abstract: 本发明涉及一种基于SURF算法和合并最大相似区域的视频前景分割方法,该方法针对亮度变化的静态场景视频设计了一种前景分割算法,包括四个步骤:(1)首先求取当前帧的梯度标记,然后对极小修正后的梯度图像进行标记分水岭变换,从而得到初始分割结果;(2)通过Surf特征点匹配操作及制定的规则确定当前帧的前景和背景标记;(3)根据区域最大相似度和区域标记对初始分割结果做区域合并;(4)如果结果不精确,采用基于区域标记交互式修改的方式对自动分割结果进行纠正。较之传统的视频分割方法,本发明提出的方法对光照变化及噪声等有较强的鲁棒性,在视频对象分割的精度、效率以及降低用户交互量上,都有一定的提高,具有工程应用价值。
-
公开(公告)号:CN105809639B
公开(公告)日:2019-01-11
申请号:CN201610120743.1
申请日:2016-03-03
Applicant: 上海大学
IPC: G06T5/00
Abstract: 本发明涉及一种老电影褪色闪烁的修复方法,该方法包括:(1)导入待处理序列,然后对待处理序列分镜,对每一组分镜序列通过RGB通道均值统计曲线判断序列是否存在闪烁;(2)在存在闪烁的分镜中挑选合适的参考帧,若无参考帧,则通过色彩校正产生参考帧,若有参考帧,则直接选定参考帧;(3)使用颜色传递算法进行闪烁修复直至该组分镜处理完成;(4)对下一组分镜序列重新筛选参考帧进行上述处理,直至所有分组序列全部处理完成。本方法交互简单,处理速度较快,能适用于大部分的全局褪色闪烁的修复。
-
公开(公告)号:CN107798666A
公开(公告)日:2018-03-13
申请号:CN201711143060.9
申请日:2017-11-17
Applicant: 上海大学
CPC classification number: G06T5/005 , G06T5/50 , G06T2207/10016 , G06T2207/10024
Abstract: 本发明涉及一种基于稀疏颜色特征的老电影褪色闪烁修复方法。通过联合待修复序列的多帧图像建立了简单的色彩修复模型,包括四个关键步骤,首先,将待修复的图像序列进行分镜,并为每一个子序列选择参考帧;其次,提取子序列的相关颜色区域,构建稀疏颜色特征矩阵;然后,使用低秩矩阵分解方法,估计未知修复参数;最后,采用两步修复策略,先利用修复参数对普通帧进行颜色一致性校正,再通过参考帧的修复参数进行颜色恢复性校正,最终得到修复后序列。本发明方法流程清晰、结构完成,联合多帧的修复模式考虑了序列前后帧的连续性,对褪色闪烁的修复效果良好。
-
公开(公告)号:CN105809673A
公开(公告)日:2016-07-27
申请号:CN201610120770.9
申请日:2016-03-03
Applicant: 上海大学
IPC: G06T7/00
CPC classification number: G06T2207/10016 , G06T2207/10024
Abstract: 本发明涉及一种基于SURF算法和合并最大相似区域的视频前景分割方法,该方法针对亮度变化的静态场景视频设计了一种前景分割算法,包括四个步骤:(1)首先求取当前帧的梯度标记,然后对极小修正后的梯度图像进行标记分水岭变换,从而得到初始分割结果;(2)通过Surf特征点匹配操作及制定的规则确定当前帧的前景和背景标记;(3)根据区域最大相似度和区域标记对初始分割结果做区域合并;(4)如果结果不精确,采用基于区域标记交互式修改的方式对自动分割结果进行纠正。较之传统的视频分割方法,本发明提出的方法对光照变化及噪声等有较强的鲁棒性,在视频对象分割的精度、效率以及降低用户交互量上,都有一定的提高,具有工程应用价值。
-
公开(公告)号:CN105809639A
公开(公告)日:2016-07-27
申请号:CN201610120743.1
申请日:2016-03-03
Applicant: 上海大学
IPC: G06T5/00
CPC classification number: G06T5/005 , G06T2207/10016 , G06T2207/10024
Abstract: 本发明涉及一种老电影褪色闪烁的修复方法,该方法包括:(1)导入待处理序列,然后对待处理序列分镜,对每一组分镜序列通过RGB通道均值统计曲线判断序列是否存在闪烁;(2)在存在闪烁的分镜中挑选合适的参考帧,若无参考帧,则通过色彩校正产生参考帧,若有参考帧,则直接选定参考帧;(3)使用颜色传递算法进行闪烁修复直至该组分镜处理完成;(4)对下一组分镜序列重新筛选参考帧进行上述处理,直至所有分组序列全部处理完成。本方法交互简单,处理速度较快,能适用于大部分的全局褪色闪烁的修复。
-
公开(公告)号:CN107945124A
公开(公告)日:2018-04-20
申请号:CN201711143062.8
申请日:2017-11-17
Applicant: 上海大学
CPC classification number: G06T5/005 , G06K9/6215 , G06T5/50 , G06T7/269 , G06T2207/10016 , G06T2207/20004
Abstract: 本发明公开一种运动路径指引的老电影黑帧修复方法,包括:运动路径估计步骤,其中使用光流估计获得前后参考帧之间的运动路径约束;预插值步骤,其中使用自适应的双向帧插值插得预处理中间帧;黑洞填补步骤,其中对预处理中间帧中的黑洞进行领域像素填补,从而提高终插值的准确性;以及终插值步骤,其中对包含运动路径约束的预处理中间帧进行基于块的帧重构,从而将老电影中的黑帧修复成过渡自然的中间帧。本发明方法不仅能较好的满足重建效果,而且也兼顾了计算复杂度,对于大部分的老电影镜头,甚至一些较为复杂的变形镜头也能较好的还原中间帧。
-
公开(公告)号:CN115937429A
公开(公告)日:2023-04-07
申请号:CN202211641983.8
申请日:2022-12-20
Applicant: 上海大学
IPC: G06T17/00 , G06T7/11 , G06T15/20 , G06V40/16 , G06V10/766 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明涉及一种基于单张图像的细粒度3D人脸重建方法,对原始的人脸图像数据集进行预处理,裁剪人脸部分区域,提取人脸的mask图并标记landmarks;然后在粗糙的3D人脸重建阶段,将预处理后的人脸图像输入到人脸回归模型中,进行网络模型训练;然后根据训练后的人脸回归模型参数,输出人脸系数向量,通过渲染生成平滑二维人脸图像;再在细粒度的3D人脸重建阶段,将反照率图输入到反照率模型中,进行反照率网络模型训练。根据训练后得到的反照率模型参数输出反照率图,根据训练后得到的深度移位模型参数,输出深度移位图。本发明方法能从单张图像中重建出细粒度的3D人脸几何和纹理信息,还对自然界中不同条件下人脸图像具有鲁棒性,应用于虚拟现实和娱乐影视。
-
-
-
-
-
-
-
-
-