-
公开(公告)号:CN117391929A
公开(公告)日:2024-01-12
申请号:CN202311280255.3
申请日:2023-09-28
Applicant: 上海大学
IPC: G06T3/04 , G06T5/73 , G06V40/16 , G06V10/26 , G06V10/82 , G06N3/0464 , G06N3/0475 , G06N3/094 , G06N3/0455
Abstract: 本发明涉及一种基于风格化生成对抗网络的高清换脸方法,包括以下步骤:获取源人脸‑目标人脸图像对;将所述人脸图像对输入预先构建好的特征提取网络模型中,输出预测的换脸图像,并将目标人脸图像输入目标遮罩预测器中,输出预测的目标遮罩,其中特征提取网络模型包含身份编码器、属性编码器、映射网络和StyleGAN2生成器;将所述换脸图像和目标遮罩输入FS‑Net网络模型中进行换脸图像重建;提取所述目标遮罩的背景部分为背景遮罩,与重建后换脸图像进行线性计算得到高清换脸图像。与现有技术相比,本发明具有显著提高了换脸图像的质量等优点。
-
公开(公告)号:CN112862801A
公开(公告)日:2021-05-28
申请号:CN202110213454.7
申请日:2021-02-25
Applicant: 上海大学
Abstract: 本发明涉及一种基于神经网络的复杂血管分割方法。该方法可以精确的分割出血管结构,它包括三个步骤:首先对原始医学图像数据集进行预处理,标记每个原始图像对应的掩模图;然后将原始图像和其对应的掩模图经过基于patch的数据增强方法输入到分割网络中,进行深度网络模型训练;再根据网络训练后得到的训练参数,输出预测结果。本发明方法所得到的预测结果已经和多个先进网络的结果进行了比较。比较结果表明,该方法相较现有方法在分割精度和效率方面都有显著的提高,具有很高的临床应用价值。
-
公开(公告)号:CN115937429A
公开(公告)日:2023-04-07
申请号:CN202211641983.8
申请日:2022-12-20
Applicant: 上海大学
IPC: G06T17/00 , G06T7/11 , G06T15/20 , G06V40/16 , G06V10/766 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明涉及一种基于单张图像的细粒度3D人脸重建方法,对原始的人脸图像数据集进行预处理,裁剪人脸部分区域,提取人脸的mask图并标记landmarks;然后在粗糙的3D人脸重建阶段,将预处理后的人脸图像输入到人脸回归模型中,进行网络模型训练;然后根据训练后的人脸回归模型参数,输出人脸系数向量,通过渲染生成平滑二维人脸图像;再在细粒度的3D人脸重建阶段,将反照率图输入到反照率模型中,进行反照率网络模型训练。根据训练后得到的反照率模型参数输出反照率图,根据训练后得到的深度移位模型参数,输出深度移位图。本发明方法能从单张图像中重建出细粒度的3D人脸几何和纹理信息,还对自然界中不同条件下人脸图像具有鲁棒性,应用于虚拟现实和娱乐影视。
-
公开(公告)号:CN114564768B
公开(公告)日:2024-12-24
申请号:CN202210218256.4
申请日:2022-03-03
Applicant: 上海大学
IPC: G06F30/10 , G06F30/27 , G06V30/412 , G06V30/182 , G06V30/19 , G06V10/82 , G06N3/0464 , G06N3/098
Abstract: 本发明公开了一种基于深度学习的端到端智能平面设计方法,使用采集到的海报数据集,首先筛选并划分原始海报数据集,进行布局设计和属性确认两个子任务的共同学习,在训练集上进行训练调参,使模型性能达到最优状态;根据输入图像和文本信息,通过调用训练完成的模型,智能平面设计框架提取图像和文本的特征信息,搜索合适的设计图布局并确认构图文本属性,自动生成和谐的平面设计。本发明使用了统一联合训练框架防止了训练过程中的数据分布差异,减轻流水线式模型中的错误传播,发挥端到端训练的优点,不需要人为定义平面设计的美学规则,而是从数据中学习美学规则,并且也不依赖图像显着图检测,从而可以更好地泛化到各种平面设计任务。
-
公开(公告)号:CN114564768A
公开(公告)日:2022-05-31
申请号:CN202210218256.4
申请日:2022-03-03
Applicant: 上海大学
IPC: G06F30/10 , G06F30/27 , G06V30/412 , G06V30/182 , G06V30/19 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于深度学习的端到端智能平面设计方法,使用采集到的海报数据集,首先筛选并划分原始海报数据集,进行布局设计和属性确认两个子任务的共同学习,在训练集上进行训练调参,使模型性能达到最优状态;根据输入图像和文本信息,通过调用训练完成的模型,智能平面设计框架提取图像和文本的特征信息,搜索合适的设计图布局并确认构图文本属性,自动生成和谐的平面设计。本发明使用了统一联合训练框架防止了训练过程中的数据分布差异,减轻流水线式模型中的错误传播,发挥端到端训练的优点,不需要人为定义平面设计的美学规则,而是从数据中学习美学规则,并且也不依赖图像显着图检测,从而可以更好地泛化到各种平面设计任务。
-
公开(公告)号:CN114494492A
公开(公告)日:2022-05-13
申请号:CN202210052502.3
申请日:2022-01-18
Applicant: 上海大学
Abstract: 本发明提出了一种血管内造影剂扩散模拟方法,使用隐式边界表示法和二相混合流体模型来模拟造影剂在各类复杂血管内的扩散运动。该方法包括三个步骤:首先为血管边界生成边界体积图;然后初始化模拟参数,初始化“血液‑造影剂”混合粒子的属性和位置,并加载边界体积图;最后进行模拟循环,计算每个时刻“血液‑造影剂”混合粒子的密度和受力,更新其速度和位置,并进行渲染。本方法能够真实、实时模拟造影剂在各类复杂血管中的扩散效果,解决了虚拟造影手术中真实感和沉浸感的难题,且重复性好,没有材料的浪费。
-
公开(公告)号:CN114494492B
公开(公告)日:2025-04-15
申请号:CN202210052502.3
申请日:2022-01-18
Applicant: 上海大学
Abstract: 本发明提出了一种血管内造影剂扩散模拟方法,使用隐式边界表示法和二相混合流体模型来模拟造影剂在各类复杂血管内的扩散运动。该方法包括三个步骤:首先为血管边界生成边界体积图;然后初始化模拟参数,初始化“血液‑造影剂”混合粒子的属性和位置,并加载边界体积图;最后进行模拟循环,计算每个时刻“血液‑造影剂”混合粒子的密度和受力,更新其速度和位置,并进行渲染。本方法能够真实、实时模拟造影剂在各类复杂血管中的扩散效果,解决了虚拟造影手术中真实感和沉浸感的难题,且重复性好,没有材料的浪费。
-
公开(公告)号:CN118096619A
公开(公告)日:2024-05-28
申请号:CN202410107112.0
申请日:2024-01-25
Applicant: 上海大学
Abstract: 针对内窥镜图像光照不足、细节纹理不清晰等问题,本发明提出一种基于Retinex理论的有监督内窥镜图像增强方法,本发明方法在分解阶段,按照Retinex理论将待增强的内窥镜图像分解成光照图与反射图两部分,将图像解耦至两个子空间,有效降低了问题复杂度;在增强阶段,对光照图与反射图分别进行增强,并引入CLAHE先验,能够有效地对图像的光照与纹理信息同时进行增强,最终合成得到光照均匀、纹理清晰的内窥镜增强图像。与现有内窥镜图像增强方法相比,本发明生成的内窥镜增强图像视觉质量更高,这将有效提高电子内窥镜图像用于医疗诊断时的效率与诊断准确性。
-
公开(公告)号:CN117392312A
公开(公告)日:2024-01-12
申请号:CN202311280252.X
申请日:2023-09-28
Applicant: 上海大学
Abstract: 本发明涉及一种基于可变形神经辐射场的单目内窥镜新视角图像生成方法,包括以下步骤:获取单目内窥镜采集的多个视角原始图像和相机参数;基于所述原始图像,进行掩膜图像制作以获取多个视角原始图像的Mask图像;将所述原始图像输入预先训练好的单目内窥镜深度估计网络模型中,获得稠密深度图;基于所述Mask图像获得原始图像和稠密深度图的有效区域;基于所述相机参数和有效区域,采用可变形神经辐射场进行隐式重建,以获取空间体积密度信息和空间颜色信息;体渲染所述空间体积密度信息和空间颜色信息,得到新视角生成的图像。与现有技术相比,本发明具有提高新视角图像生成的精确性等优点。
-
公开(公告)号:CN115482323A
公开(公告)日:2022-12-16
申请号:CN202210953904.0
申请日:2022-08-10
Applicant: 上海大学
Abstract: 本发明涉及一种基于神经辐射场的立体视频视差控制与编辑方法。首先,引入具有时域双向流的神经辐射场,生成新视角的动态视频场。其次,能够根据观看条件与视频场景特性,自适应精准计算理想视差,生成立体效果显著且视觉舒适的立体视频。最后,在基于神经辐射场的立体渲染过程中实现了对单个对象视差的重编辑。与现有技术对比,在图像重建质量指标上该方法获得了综合性能最高。同时,该框架获得了较低的视疲劳指数,和包含有正负两种视差的立体感。实验采集了10位非专业观众和10位专业影视工作者对该方法的结果的反馈,分别从立体感、舒适度和局部视差编辑效果三个角度,证明了我们的框架在3D电影制作中优化视觉体验和艺术性表达的价值。
-
-
-
-
-
-
-
-
-