-
公开(公告)号:CN119788863A
公开(公告)日:2025-04-08
申请号:CN202411702630.3
申请日:2024-11-26
Applicant: 上海交通大学
IPC: H04N19/147 , H04N19/91 , H04N19/94
Abstract: 本发明提供体积视频压缩的端到端联合优化的可变码率方法和系统,包括:使用三平面特征网格及3D密度网格表征体积视频;学习体积视频残差网格,完成三平面残差建模;利用熵模型学习体积视频的数据分布,估计其压缩后的大小;引入模拟量化误差,控制整体潜在表示的量化误差,使得被压缩后的大小为可变比特率;对三平面残差表述的体积视频进行渲染;利用端到端的渐进式训练方法进行动态神经辐射场的训练,优化表示和压缩;将待压缩的体积视频输入到训练好的动态神经辐射场中,进行三平面残差建模和熵编码,获得可变比特率的码流,实现流式传输。本发明通过单一模型实现了广泛的可变比特率,同时保持优越的率失真性能,以适应不同的需求。
-
公开(公告)号:CN114972036B
公开(公告)日:2024-09-24
申请号:CN202210657948.9
申请日:2022-06-10
Applicant: 上海交通大学
IPC: G06T3/4053 , G06T3/4046 , G06T3/4084 , G06N3/0464 , G06N3/043 , G06N3/08
Abstract: 本发明提供一种基于融合退化先验的核反卷积盲图像超分辨率重建网络;低分辨率图像输入所述上采样网络,重建出满足原始模糊核约束的高分辨率尺度的过渡图像;将所述过渡图像和所述原始模糊核输入所述反卷积网络,实现高分辨率图像的重建。本发明通过引入退化建模的方式,将盲图像超分辨率重建解耦,并将完整原始模糊核显式引入重建过程中,避免了由于引入预生成的模糊核降维手段而带来的模糊核信息丢失,以及面对未知退化核而带来的泛化性问题,端到端的实现了盲图像超分辨率重建。
-
公开(公告)号:CN118196230A
公开(公告)日:2024-06-14
申请号:CN202410510838.9
申请日:2024-04-26
Applicant: 上海交通大学
Abstract: 本发明提供一种图像上色方法及系统,其中方法包括:提供一图像上色模型,所述图像上色模型包括:预训练的文本编码器、实例掩码多层感知机、实例拼接多层感知机、预训练的视觉编码器、自注意力模型、视觉文本交叉注意力模型、条件图像引导网络模型、条件交叉注意力模型以及预训练的视觉解码器;提供一训练数据集,所述训练数据集包括:实例文本、实例掩码、彩色图像、整体文本以及黑白图像;利用所述训练数据对所述图像上色模型进行训练,得到训练后的图像上色模型;利用所述训练后的图像上色模型,进行图像上色。本发明使用输入的实例掩码和实例文本,允许使用者自定义图像中每个物体的颜色,改善了颜色绑定的问题。
-
公开(公告)号:CN112149689B
公开(公告)日:2022-12-09
申请号:CN202011041122.7
申请日:2020-09-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于目标领域自监督学习的无监督领域适应方法和系统,包括:领域不变特征提取步骤、图像特征阶梯式领域对齐步骤、语义分割步骤、边缘生成步骤、分割图领域对齐步骤、边缘图领域对齐步骤和边缘一致约束步骤。本发明通过对目标领域实施一种有效的自监督学习,从而提高目标领域的无监督分割精度,实现良好的领域适应。
-
公开(公告)号:CN112884749A
公开(公告)日:2021-06-01
申请号:CN202110229959.2
申请日:2021-03-02
Applicant: 上海交通大学
Abstract: 本发明提供了一种锥体压缩性骨折辅助诊断系统及方法,包括:将待诊断椎骨图片以及与待诊断椎骨图片上下相邻的椎骨图片输入特征提取网络,特征提取网络使用三分支网络学习椎骨特征,通过判别器比较相邻椎骨特征训练特征提取网络,提取得到骨折识别特征;对输入的待诊断椎骨图片使用深度神经网络学习良恶性椎骨特征,通过比较良恶性椎骨特征,提取得到良恶骨折分类特征;对提取的骨折识别特征和良恶性分类特征进行权重控制融合,得到最终具有区分性表达的特征;基于得到的最终具有区分性表达的特征,使用类别预测网络预测椎体的类别。本发明能够对输入的锥体图片提取骨折识别和良恶性分类的特征表达,从而进行锥体压缩性骨折的诊断。
-
公开(公告)号:CN112418205A
公开(公告)日:2021-02-26
申请号:CN202011297385.4
申请日:2020-11-19
Applicant: 上海交通大学
Abstract: 本发明提供一种基于专注误分割区域的交互式图像分割方法和系统,对输入图像的初始分割进行前景和背景的抠图处理,得到前景和背景抠图图像;对输入图像以及欠分割和过分割指示点,生成欠分割和过分割测地距离指引图;根据输入图像、初始分割图像、欠分割以及过分割测地距离指引图,提取全图图像特征;根据背景和前景抠图图像以及欠分割和过分割指示点,提取欠分割和过分割区域特征;将欠分割和过分割区域特征以及全图图像特征进行特征融合,得到修正后的分割图像。本发明结合先验知识和神经网络本身的学习能力,提升对于图像分割的准确率和可解释性,并且作为获取分割数据标注的手段,使标注仅经过几次点击交互就能完成,避免逐像素点标注。
-
公开(公告)号:CN106231303B
公开(公告)日:2020-06-12
申请号:CN201610584775.7
申请日:2016-07-22
Applicant: 上海交通大学
IPC: H04N19/114 , H04N19/115 , H04N19/176 , H04N19/70 , H04N19/96
Abstract: 本发明提供一种HEVC编码中使用预测模式进行复杂度控制的方法,包括以下步骤:统计第一个GOP中的各个编码单元预测模式的复杂度,计算出各个预测模式的复杂度的比值,并通过不同的编码单元预测模式组合得到不同的门限值。把目标复杂度平均分配到待编码GOP内的每一帧;把复杂度平均分配给剩下的编码树单元,每个编码树单元根据分配到的复杂度选择编码单元预测模式的组合,编码完成后更新剩余的复杂度。本发明整个方法避免引入额外的复杂度,且无需专门的训练视频序列,对于任何视频可以直接编码,复杂度控制的动态范围很高,而且波动较小。本发明能够在GOP级别在一定范围内实现复杂度的控制。
-
公开(公告)号:CN111028243A
公开(公告)日:2020-04-17
申请号:CN201911206067.X
申请日:2019-11-29
Applicant: 上海交通大学
Abstract: 本发明提供一种CT扫描图像的儿童神经母细胞瘤分割方法、系统及装置,系统包括编码器模块,形态学特征提取模块,解码器模块。编码器模块使用深度神经网络从扫描图像中提取固定大小的视觉特征向量,形态学特征提取模块利用形态学工具将肿瘤的形状,大小信息提取为特征向量,解码器模块,解码视觉特征向量和形态学特征向量,得到神经母细胞瘤的分割掩膜。本发明对实际病例CT扫描图像进行神经母细胞瘤的检测和精细分割,比常规基于深度神经网络的分割方法在准确度上有明显提升,同时计算时间没有增加。
-
公开(公告)号:CN106331723B
公开(公告)日:2019-12-13
申请号:CN201610688578.X
申请日:2016-08-18
Applicant: 上海交通大学
IPC: H04N19/51 , H04N19/513 , H04N19/139 , H04N19/137
Abstract: 本发明公开一种基于运动区域分割的视频帧率上变换方法及系统,所述方法步骤为:提取视频图像的特征点;在图像之间进行特征点匹配,获取特征点的运动矢量;对特征点运动矢量聚类处理,提取运动区域信息;将运动区域的运动信息,从特征点出发,传播到图像中的其它每一个像素点,获得逐像素的运动区域分割结果和初始的逐像素运动矢量场;根据运动区域分割结果,对运动矢量场进行平滑滤波,获得优化的运动矢量场;根据运动矢量场进行补偿插值,获得内插帧图像,完成帧率的上变换。本发明能够准确地得到视频中的运动区域信息,并有效地辅助运动估计,运动矢量滤波,完成视频帧率的上变换,提高视频观看体验。
-
公开(公告)号:CN104301736B
公开(公告)日:2017-08-01
申请号:CN201410538367.9
申请日:2014-10-13
Applicant: 上海交通大学
IPC: H04N19/57 , H04N19/513
Abstract: 本发明公开了一种减少存储带宽需求的超高清帧率上变换系统,其中:输入模块接收超高清视频图像流,经过降采样得到高清视频图像,并将原始图像及降采样后的图像存入片外存储器;运动估计模块从片外存储器读入高清分辨率下搜索窗的像素数据,计算出对应的运动矢量,此运动矢量经过缩放后作为超高清分辨率下运动矢量的粗值;矢量后处理模块接收到运动矢量粗值,对其进一步细化、平滑处理,得到运动矢量最终值;内插模块从片外存储器读入运动矢量最终值对应的参考像素块,计算出内插像素块。本发明通过只读取高清分辨率下的搜索窗而实现超高清帧率上变换,减少了片外存储带宽需求、片内存储面积和访存带宽,同时克服了降低分辨率带来的运动估计误差。
-
-
-
-
-
-
-
-
-