基于可变形神经辐射场的单目内窥镜新视角图像生成方法

    公开(公告)号:CN117392312A

    公开(公告)日:2024-01-12

    申请号:CN202311280252.X

    申请日:2023-09-28

    Applicant: 上海大学

    Abstract: 本发明涉及一种基于可变形神经辐射场的单目内窥镜新视角图像生成方法,包括以下步骤:获取单目内窥镜采集的多个视角原始图像和相机参数;基于所述原始图像,进行掩膜图像制作以获取多个视角原始图像的Mask图像;将所述原始图像输入预先训练好的单目内窥镜深度估计网络模型中,获得稠密深度图;基于所述Mask图像获得原始图像和稠密深度图的有效区域;基于所述相机参数和有效区域,采用可变形神经辐射场进行隐式重建,以获取空间体积密度信息和空间颜色信息;体渲染所述空间体积密度信息和空间颜色信息,得到新视角生成的图像。与现有技术相比,本发明具有提高新视角图像生成的精确性等优点。

    一种基于时间注意力和生成对抗网络的视频修复方法

    公开(公告)号:CN116703760A

    公开(公告)日:2023-09-05

    申请号:CN202310612118.9

    申请日:2023-05-29

    Applicant: 上海大学

    Abstract: 本发明属于计算机视觉领域,公开了一种基于时间注意力和生成对抗网络的视频修复方法,对训练集包含的视频进行预处理,随机生成每幅视频帧的二值掩膜图;然后将视频帧及其对应的掩膜图输入生成对抗网络,进行深度网络模型训练;再将破损视频帧输入步骤2所训练的网络模型,输出修复结果。本发明根据视频帧之间内容具有连续性的特性,提出了时间注意力,从而指定了合理的注意力查询区域,解决了注意力查询区域不合理的问题,有效地提高了破损视频的修复质量。本发明可以应用于电影后期处理、视频编辑等领域。

    一种基于神经辐射场的立体视频视差控制与编辑方法

    公开(公告)号:CN115482323A

    公开(公告)日:2022-12-16

    申请号:CN202210953904.0

    申请日:2022-08-10

    Applicant: 上海大学

    Abstract: 本发明涉及一种基于神经辐射场的立体视频视差控制与编辑方法。首先,引入具有时域双向流的神经辐射场,生成新视角的动态视频场。其次,能够根据观看条件与视频场景特性,自适应精准计算理想视差,生成立体效果显著且视觉舒适的立体视频。最后,在基于神经辐射场的立体渲染过程中实现了对单个对象视差的重编辑。与现有技术对比,在图像重建质量指标上该方法获得了综合性能最高。同时,该框架获得了较低的视疲劳指数,和包含有正负两种视差的立体感。实验采集了10位非专业观众和10位专业影视工作者对该方法的结果的反馈,分别从立体感、舒适度和局部视差编辑效果三个角度,证明了我们的框架在3D电影制作中优化视觉体验和艺术性表达的价值。

    基于无监督学习的内窥镜图像增强方法

    公开(公告)号:CN113808057A

    公开(公告)日:2021-12-17

    申请号:CN202110885619.5

    申请日:2021-08-03

    Applicant: 上海大学

    Abstract: 本发明涉及一种基于无监督学习的内窥镜图像增强方法,包括四个步骤:(1)对原始内窥镜图像数据集进行预处理,利用三种图像增强技术处理原始图像得到三张派生图;(2)将原始图像和其对应的派生图转换到HSI颜色空间,保持H通道图像不变,将派生图的I通道图像输入无监督学习网络,进行深度网络模型训练;(3)根据网络训练后得到的训练参数,得到I通道图像增强结果;(4)对原始图像的S通道图像进行自适应非线性拉伸处理,并将HSI颜色空间转换回RGB颜色空间输出最终增强图像。本发明的无监督学习网络不需要ground truth作为参考图像,通过non‑reference损失函数实现网络的训练。该方法较现有方法在对比度、清晰度和细节信息方面都有显著的提高,具有很高的临床应用价值。

    基于稀疏颜色特征的老电影褪色闪烁修复方法

    公开(公告)号:CN107798666B

    公开(公告)日:2021-08-10

    申请号:CN201711143060.9

    申请日:2017-11-17

    Applicant: 上海大学

    Abstract: 本发明涉及一种基于稀疏颜色特征的老电影褪色闪烁修复方法。通过联合待修复序列的多帧图像建立了简单的色彩修复模型,包括四个关键步骤,首先,将待修复的图像序列进行分镜,并为每一个子序列选择参考帧;其次,提取子序列的相关颜色区域,构建稀疏颜色特征矩阵;然后,使用低秩矩阵分解方法,估计未知修复参数;最后,采用两步修复策略,先利用修复参数对普通帧进行颜色一致性校正,再通过参考帧的修复参数进行颜色恢复性校正,最终得到修复后序列。本发明方法流程清晰、结构完成,联合多帧的修复模式考虑了序列前后帧的连续性,对褪色闪烁的修复效果良好。

    一种基于生成对抗网络的老电影大面积破损修复方法

    公开(公告)号:CN110533615A

    公开(公告)日:2019-12-03

    申请号:CN201910810872.7

    申请日:2019-08-30

    Applicant: 上海大学

    Abstract: 本发明涉及一种基于生成对抗网络的老电影大面积破损修复方法,该方法针对老电影大面积破损设计了一种修复方法,包括三个步骤:(1)对待修复老电影进行预处理,标记破损帧掩膜;(2)将老电影中未破损序列输入生成对抗网络,进行深度网络模型训练;(3)将老电影中破损序列输入步骤2所训练的网络模型,最终输出修复结果。本方法所设计生成对抗网络的生成网络采用逐帧修复的方式,接收破损帧和已修复帧为输入,判别网络对抗式地判别生成网络输出结果的真假,通过多损失联合的目标函数实现网络的训练。该方法相较现有方法在修复质量和效率方面都有一定的提高,具有工程应用价值。

    基于SURF算法和合并最大相似区域的视频前景分割方法

    公开(公告)号:CN105809673B

    公开(公告)日:2019-04-02

    申请号:CN201610120770.9

    申请日:2016-03-03

    Applicant: 上海大学

    Abstract: 本发明涉及一种基于SURF算法和合并最大相似区域的视频前景分割方法,该方法针对亮度变化的静态场景视频设计了一种前景分割算法,包括四个步骤:(1)首先求取当前帧的梯度标记,然后对极小修正后的梯度图像进行标记分水岭变换,从而得到初始分割结果;(2)通过Surf特征点匹配操作及制定的规则确定当前帧的前景和背景标记;(3)根据区域最大相似度和区域标记对初始分割结果做区域合并;(4)如果结果不精确,采用基于区域标记交互式修改的方式对自动分割结果进行纠正。较之传统的视频分割方法,本发明提出的方法对光照变化及噪声等有较强的鲁棒性,在视频对象分割的精度、效率以及降低用户交互量上,都有一定的提高,具有工程应用价值。

    一种老电影褪色闪烁的修复方法

    公开(公告)号:CN105809639B

    公开(公告)日:2019-01-11

    申请号:CN201610120743.1

    申请日:2016-03-03

    Applicant: 上海大学

    Abstract: 本发明涉及一种老电影褪色闪烁的修复方法,该方法包括:(1)导入待处理序列,然后对待处理序列分镜,对每一组分镜序列通过RGB通道均值统计曲线判断序列是否存在闪烁;(2)在存在闪烁的分镜中挑选合适的参考帧,若无参考帧,则通过色彩校正产生参考帧,若有参考帧,则直接选定参考帧;(3)使用颜色传递算法进行闪烁修复直至该组分镜处理完成;(4)对下一组分镜序列重新筛选参考帧进行上述处理,直至所有分组序列全部处理完成。本方法交互简单,处理速度较快,能适用于大部分的全局褪色闪烁的修复。

    一种基于卷积神经网络的中文财经新闻文本分类方法

    公开(公告)号:CN108399230A

    公开(公告)日:2018-08-14

    申请号:CN201810147792.3

    申请日:2018-02-13

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于卷积神经网络的中文财经新闻文本分类方法,主要分为词向量训练、文本预处理、神经网络模型训练、新闻分类四个部分。使用大规模财经新闻语料,通过无监督学习的方法,训练获得一个广义通用的财经类词向量模型,并有效地将词向量引入到卷积神经网络模型的训练中,通过动态调整词向量的方法増加模型的统计信息。使用的卷积网络模型结构简单,针对小样本集也能表现优异的性能,不仅有效解决中文财经新闻分类问题,还充分证明了卷积神经网络在处理文本分类问题中的有效性。

    基于稀疏颜色特征的老电影褪色闪烁修复方法

    公开(公告)号:CN107798666A

    公开(公告)日:2018-03-13

    申请号:CN201711143060.9

    申请日:2017-11-17

    Applicant: 上海大学

    CPC classification number: G06T5/005 G06T5/50 G06T2207/10016 G06T2207/10024

    Abstract: 本发明涉及一种基于稀疏颜色特征的老电影褪色闪烁修复方法。通过联合待修复序列的多帧图像建立了简单的色彩修复模型,包括四个关键步骤,首先,将待修复的图像序列进行分镜,并为每一个子序列选择参考帧;其次,提取子序列的相关颜色区域,构建稀疏颜色特征矩阵;然后,使用低秩矩阵分解方法,估计未知修复参数;最后,采用两步修复策略,先利用修复参数对普通帧进行颜色一致性校正,再通过参考帧的修复参数进行颜色恢复性校正,最终得到修复后序列。本发明方法流程清晰、结构完成,联合多帧的修复模式考虑了序列前后帧的连续性,对褪色闪烁的修复效果良好。

Patent Agency Ranking