基于部分到整体注意力机制的多层次图像修复方法

    公开(公告)号:CN111127346A

    公开(公告)日:2020-05-08

    申请号:CN201911246343.5

    申请日:2019-12-08

    Applicant: 复旦大学

    Inventor: 颜波 陈鹤丹

    Abstract: 本发明属于数字图像智能处理技术领域,具体为一种基于部分到整体注意力机制的多层次图像修复方法。图像修复是指利用算法来替换和生成丢失或缺损的图像数据。本发明方法包括:一种多层次的深度卷积神经网络生成器结构;一个部分到整体的注意力机制卷积层,分别集成到网络的生成器和判别器中。在网络的训练过程中引入了图像块判别器和重构损失、感知损失、风格损失、对抗损失四种损失函数来辅助生成器学习图像修复任务。实验结果表明,本发明可以生成细节逼真且整体结构合理的修复图像,有效解决图像修复问题。

    用于局部遮挡下单样本人脸识别的镜像特征重排修复方法

    公开(公告)号:CN111127308A

    公开(公告)日:2020-05-08

    申请号:CN201911254391.9

    申请日:2019-12-08

    Applicant: 复旦大学

    Inventor: 颜波 林青

    Abstract: 本发明属于数字图像处理技术领域,具体为一种用于局部遮挡下单样本人脸识别的镜像特征重排修复方法。本发明针对人脸被部分遮挡的情况,构造深度神经网络作为图像生成器,引入全局-局部判别器和人脸特征提取网络辅助图像生成器学习人脸修复任务,使得图像生成器可以产生自然的人脸图像;本发明步骤包括:从待修复图像中标记出局部遮挡区域;将输入图像和对应的遮挡区域标记共同载入生成器;通过编码器构建初步的人脸特征;将特征送入空间镜像变换器进行特征重排;将初步特征和镜像特征送入转换器和解码器,通过深度网络生成修复的人脸图像。实验结果表明,本发明可以生成自然的人脸,有效保持人物身份信息,提高部分遮挡下的单样本人脸识别率。

    一种基于图像质量评价的图像去模糊方法

    公开(公告)号:CN110942436A

    公开(公告)日:2020-03-31

    申请号:CN201911195567.8

    申请日:2019-11-29

    Applicant: 复旦大学

    Inventor: 颜波 李昂

    Abstract: 本发明属于数字图像智能处理技术领域,具体为一种基于图像质量评价的图像去模糊方法。图像去模糊算法用于恢复图像质量,使得图像边缘尽可能锐利。本发明方法包括以下步骤:构建、预训练针对去模糊图像的质量评价网络;构建去模糊网络,并和质量评价网络级联;在图像质量评价任务的驱动下,训练去模糊网络;模糊图像通过质量评价指导的去模糊网络处理后得到去模糊结果。实验结果表明,本发明能够使去模糊结果获得更锐利的边缘以及更高的主观质量。

    一种内镜图像病变实时检测方法及装置

    公开(公告)号:CN110335230A

    公开(公告)日:2019-10-15

    申请号:CN201910254178.1

    申请日:2019-03-30

    Applicant: 复旦大学

    Abstract: 本发明属于医疗图像处理技术领域,具体为一种内镜图像病变实时检测方法及装置。本发明方法包括采集卡采集内镜设备输出的当前图像;当前图像预处理;调用病变检测模型检测当前图像中的病变区域;检测结果后处理;将病变检测前后的图像存入缓冲区;检测缓冲区,从缓冲区读取图像;在界面显示病变检测结果。本发明装置包括内镜拍摄设备、采集卡、病变检测程序模块、缓冲区、显示设备;采集卡、病变检测程序模块、缓冲区置于计算机主机中。本发明能够实时获取内镜的视频并进行检测,输出病变检测前后的视频,便于医生观察。本发明对不同内镜设备兼容性好,安装简单,即插即用,可以辅助医生提高临床诊断效率,在实际临床诊断中有广泛应用前景。

    基于深度学习的肠镜质量检查控制系统

    公开(公告)号:CN110020610A

    公开(公告)日:2019-07-16

    申请号:CN201910200569.5

    申请日:2019-03-16

    Applicant: 复旦大学

    Abstract: 本发明属于医学图像处理技术领域,具体为一种基于深度学习的肠镜质量检查控制系统。本发明系统包括:回盲瓣识别模型,用于把图像按照回盲瓣和非回盲瓣进行分类;肠道质量评分模型,用于把图像按照波士顿肠道准备质量的评分(0-3)进行分类;两个模型由图像分类卷积神经网络将肠镜图像以及标签即回盲瓣标签或评分作为输入,经过端到端训练得到。通过识别回盲瓣以及按波士顿评分量表对肠道准备质量进行评分,对肠镜检查质量进行评估。实验结果表明,本发明系统用于肠镜检查质量的控制具有良好的特异度、敏感度,可在临床检查中辅助内镜医师,提高肠镜检查的质量。

    基于卷积神经网络和传统编码相结合的图像压缩方法

    公开(公告)号:CN109903351A

    公开(公告)日:2019-06-18

    申请号:CN201910157799.8

    申请日:2019-03-02

    Applicant: 复旦大学

    Inventor: 颜波 容文迅

    Abstract: 本发明属于数字图像处理技术领域,具体为一种基于卷积神经网络和传统编码相结合的图像压缩方法。本发明方法包括:利用卷积神经网络decCNN减少图像的高频信息分量;利用传统编码模块对图像进行压缩,得到用于存储以及传输的图像编码;将得到的编码数据进行解码,得到重构图像;利用卷积神经网络enhCNN对解码后的图像进行增强,提升重构效果。实验结果表明,在实现更高的压缩比时还能得到更好的图像重构质量,大大降低图像数据在存储、传输等过程中所需要占据的资源。

    一种语义分割驱动的图像超分辨率重构方法

    公开(公告)号:CN109191392A

    公开(公告)日:2019-01-11

    申请号:CN201810901713.3

    申请日:2018-08-09

    Applicant: 复旦大学

    Abstract: 本发明属于数字图像处理技术领域,具体为一种语义分割驱动的图像超分辨率重构方法。本发明方法具体包括:分别独立训练图像超分辨率网络和语义分割网络模型;级联独立训练的超分辨率网络和语义分割网络;在语义分割任务的驱动下,训练超分辨率网络;低分辨率图像通过任务驱动的网络处理后,获得准确的语义分割结果。实验结果表明,本发明能够使得超分辨率网络更好地适应分割任务,为语义分割网络提供清晰、分辨率高的输入图像,有效提高低分辨率图像的分割精确度。

    一种生成新视频帧的方法
    68.
    发明公开

    公开(公告)号:CN109151474A

    公开(公告)日:2019-01-04

    申请号:CN201810969162.4

    申请日:2018-08-23

    Applicant: 复旦大学

    CPC classification number: H04N19/132 H04N19/577

    Abstract: 本发明属于视频编辑技术领域,具体为一种生成新视频帧的方法。本发明方法利用视频前后帧之间的光流估计新生成的中间帧到视频前后帧之间的光流,并根据该光流值对前后帧进行相应逆插值处理生成新的中间视频帧。本发明使用视频前后帧之间的关联性结合多尺度的框架,从粗到细地预测新的视频帧。实验结果表明,本方法不仅生成了较高质量的中间视频帧,还保持了新视频的时间连贯性,达到快速的几乎实时的处理效果,因此相较于传统的视频插帧方法,本发明具有更现实的应用价值及更丰富的研究意义。

    基于多任务神经网络的消化道内镜图像分类及早癌检测系统

    公开(公告)号:CN109118485A

    公开(公告)日:2019-01-01

    申请号:CN201810928147.5

    申请日:2018-08-13

    Applicant: 复旦大学

    Abstract: 本发明属于医学图像智能处理技术领域,具体为一种基于多任务神经网络的消化道内镜图像分类及早癌检测系统。本发明系统包括:(1)特征提取主干网络;(2)消化道内镜图像分类分支;(3)消化道早癌病变区域检测分支;本发明采用多任务的深度神经网络结构,分类和检测两个任务共享多个卷积层。内镜图像输入到神经网络模型中,经过一次前向传播,即可同时获得检测及分类结果,有效降低计算量,提升分类和检测精确度。实验结果表明,本发明可以精确地将内镜图像分成正常和早癌两类并检测出早癌图像中不规则的病变区域,减少人为因素影响,提高临床诊断的效率。

    一种基于深度学习的低质量图像超分方法

    公开(公告)号:CN109035146A

    公开(公告)日:2018-12-18

    申请号:CN201810901714.8

    申请日:2018-08-09

    Applicant: 复旦大学

    CPC classification number: G06T3/4053 G06N3/0454

    Abstract: 本发明属于图像编辑技术领域,具体为一种基于深度学习的低质量图像超分方法。本发明方法包括:图像中干扰信息特征的提取,图像特征与模糊及噪声特征的融合,高分辨率图像的重构。本发明不仅可以对理想条件下通过Bicubic降采样方法获得的低分辨率图像进行超分,还可以处理受到其它干扰的更真实的低分辨率图像。由于在真实条件下,低分辨率图像往往还受到模糊和噪声的干扰,本发明充分利用生成低分辨率图像的过程的信息,来增强对受干扰图像的超分效果。实验结果表明,本方法不仅较好地实现了理想条件下的图像超分,还可以对从真实条件中获得的受到未知干扰的低分辨率图像进行处理,以生成具有更符合主观视觉质量的高分辨率图像。

Patent Agency Ranking