-
公开(公告)号:CN113255892A
公开(公告)日:2021-08-13
申请号:CN202110609293.3
申请日:2021-06-01
Applicant: 上海交通大学烟台信息技术研究院
Abstract: 本发明提供一种解耦合的网络结构搜索方法、设备及可读存储介质,包括:确定搜索空间,构建超网络;将超网络解耦成为各自独立的单一操作子网络;获取图像数据并分别作为超网络的网络参数、结构参数的训练数据;生成特征图,计算网络参数的交叉熵损失函数和变分丢弃损失函数,得到各通道丢弃概率,训练单一操作子网络至收敛并根据通道丢弃概率得到剪枝网络;将剪枝后的单一操作子网络组合成为超网络,生成特征图,计算交叉熵损失函数,更新超网络的结构参数;得到最终网络。本发明在保证较高的性能同时大幅度减少搜索时间和降低计算复杂度,保证了搜索的稳定性和实用性,可用于图像目标检测、分类等领域,提高图像处理速度。
-
公开(公告)号:CN112163990A
公开(公告)日:2021-01-01
申请号:CN202010932741.9
申请日:2020-09-08
Applicant: 上海交通大学
Abstract: 本发明提出了一种基于图卷积神经网络的360度图像的显著性预测方法及系统首先采用测地线二十面体构图方法将等距矩形投影格式的图像构造成球面图信号,然后将球面图信号输入提出的图卷积神经网络中进行特征提取并且生成球形显著性图信号,而后使用提出的基于球冠的插值算法将球形显著性图信号重建成等距矩形投影格式的显著性图。本发明进一步提出具有稀疏一致性的KL散度损失函数。本发明可以在主观和客观上达到优秀的显著性预测性能,并且在计算复杂度上优于现有方法。
-
公开(公告)号:CN111968133A
公开(公告)日:2020-11-20
申请号:CN202010760281.6
申请日:2020-07-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种自动驾驶场景下的三维点云数据实例分割方法及系统,包括:利用目标物体的空间位置信息对室外街道场景进行初步识别与划分,形成感兴趣区域点云视柱;对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云,形成视柱点云数据集;提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息,同时引入带权重的多分类焦点损失函数,得到视柱内每一个点云所属的类别,实现对点云数据的实例分割。本发明提出的自动驾驶场景下的三维点云数据实例分割方法及系统,可以有效的增强目标细节特征表达,从而增强对点云困难样本的预测能力,提升了自动驾驶场景下点云实例分割的表现。
-
公开(公告)号:CN120075549A
公开(公告)日:2025-05-30
申请号:CN202510206227.X
申请日:2025-02-25
Applicant: 上海交通大学
IPC: H04N21/854 , H04N21/44 , H04N21/234 , G06T7/13 , G06T7/40 , G06T5/70
Abstract: 本公开提供一种实例级运动可控的视频生成方法、系统、介质及设备,其中,方法包括:获取实例运动控制条件,实例运动控制条件包括实例布局信息和实例运动轨迹;对实例布局信息沿实例运动轨迹进行增广,确定经过增广的实例布局信息;将经过增广的实例布局信息输入引入帧间互注意力机制的预训练的定位图像扩散生成模型,生成候选关键帧;将候选关键帧输入引入帧间互注意力机制的预训练的视频扩散生成模型,确定第一运动视频;根据预训练的视频扩散生成模型的运动先验和预训练的图像扩散生成模型的细节先验对第一运动视频进行优化处理,确定目标运动视频。通过本公开,提高视频生成的运动控制能力,提高视频生成质量,实现实例级运动定制化视频生成。
-
公开(公告)号:CN120047624A
公开(公告)日:2025-05-27
申请号:CN202510209758.4
申请日:2025-02-25
Applicant: 上海交通大学
IPC: G06T17/00 , G06T7/73 , G06N3/045 , G06T3/4038 , G06N3/08
Abstract: 本发明提供基于多层次稠密姿态生成的三维人体姿态估计方法,包括:获取二维人体姿态,二维人体姿态为人体关节点的二维坐标;利用自回归姿态码元生成模型,按照从人体中心关节点到边缘关节点的顺序,根据二维人体姿态依次获得输入姿态生成码元和稠密姿态生成码元;通过解码器,根据稠密姿态生成码元生成第一层稠密化姿态,根据输入姿态生成码元和稠密姿态生成码元生成第二层稠密化姿态;将二维人体姿态、第一层稠密化姿态和第二层稠密化姿态拼接,输入Transformer得到三维姿态估计。本发明引入稠密二维姿态,极大提升三维人体姿态估计的准确度,能够使用单帧图像的姿态输入获得匹配多帧视频输入的准确率,缓解关节遮挡、部分肢体遮挡和深度不连续性等问题。
-
公开(公告)号:CN114862712B
公开(公告)日:2025-04-29
申请号:CN202210474083.2
申请日:2022-04-29
Applicant: 上海交通大学
Abstract: 本发明提供一种视频染色方法,包括:使用神经网络从参考帧与目标帧的灰度信息中提取多层特征图;基于所述多层特征图进行光流预测和光流优化;利用光流优化获得的结果将所述参考帧中的颜色传播到所述目标帧上。本发明改善了光流长时预测的准确率,所生成的彩色视频帧保真度更优、色彩更加准确,具有极强的实际应用价值。应用在视频编码任务上,可以在保持重构质量的前提下达到减少码率的效果。
-
公开(公告)号:CN115834914B
公开(公告)日:2025-04-25
申请号:CN202211561058.4
申请日:2022-12-07
Applicant: 上海交通大学
IPC: H04N19/91 , G06T9/00 , G06N3/0464
Abstract: 本发明提供一种基于张量网络的熵编码、熵解码方法及图像压缩方法、系统、装置,包括:采用格雷码将图像的离散特征划分为多个二进制位平面;采用特征映射将二进制位平面映射到对应的希尔伯特空间内,生成位平面的向量化特征;基于张量网络的熵编码模型,对位平面的向量化特征分别进行概率估计及编码,生成位平面特征二进制码流;合并所有的位平面特征二进制码流,得到特征二进制码流。采用张量网络建模特征概率分布,能够在不引入任何先验假设的条件下,准确计算特征的联合概率,相比于现有熵模型的设计进一步提升了压缩结构的灵活性和可扩展性。
-
公开(公告)号:CN114708343B
公开(公告)日:2025-04-25
申请号:CN202210288552.1
申请日:2022-03-22
Applicant: 上海交通大学
Abstract: 本发明提供三维点云图字典学习方法以及基于图字典学习的编解码方法、压缩方法及装置,包括:获得N幅训练集点云数据;对点云数据进行体素化处理,获得体素化的训练集点云数据;对训练集点云数据进行体素块划分,选取若干体素块作为训练集,根据训练集构建图字典学习模型;对图字典学习的目标函数进行迭代优化,获得用于三维点云信号的编解码的图字典。本发明有效地利用点云信号之间的空间相关性,渐进最优地去除点云信号之间的冗余性;利用不同层级信号之间的数据相关性由低层级自上而下进行预测编码,有效地提升了3D点云属性信号的压缩效率,有效减少编码开销,灵活地满足实际需求中对不同质量的解码信号的需求,具有可伸缩性。
-
公开(公告)号:CN114283214B
公开(公告)日:2025-03-21
申请号:CN202111597434.0
申请日:2021-12-24
Applicant: 上海交通大学
IPC: G06F17/10
Abstract: 本发明提供一种光场图像编码和解码方法、系统与装置,属于图像处理技术领域。其主要从光场图像采集各个空间位置的关键视角,计算反映视角间关系的邻接矩阵,编码关键视角和邻接矩阵得到二进制码流。本发明压缩部分关键视角,能够大幅度提升压缩率,并且减小解码缓存大小。通过不同视角间的相关性进行图学习,能够基于邻接矩阵保证重构光场图像的质量,提升率‑失真性能。光场图像广泛应用于环境检测、医学成像等应用领域,由于实际场景中采样得到的光场图像数据可以达到很大量级,亟需设计压缩算法减少存储代价,以及降低传输带宽,本发明提出的模块和算法拥有巨大的工业潜力。
-
公开(公告)号:CN119211564A
公开(公告)日:2024-12-27
申请号:CN202411315044.3
申请日:2024-09-20
Applicant: 上海交通大学
Abstract: 本公开提供一种整数实现的图像编码、解码、压缩方法以及系统、终端,其中,方法包括:将待压缩图像输入预设的整数化的编码网络,确定整数特征图;将整数特征图输入预设的整数化的超先验编码网络,采用非参数化分布估计确定整数超先验特征图和超先验特征二进制码流;将整数超先验特征图输入预设的整数化的超先验解码网络,确定整数特征图的高斯分布参数;采用预设的熵编码器对整数特征图进行编码处理,确定特征图二进制码流;将超先验特征二进制码流和特征图二进制码流进行合并处理,确定压缩图像二进制码流。通过本公开,在不损失率失真性能的情况下,降低图像编码和图像解码的复杂度,提高图像压缩的运行效率,节省资源消耗。
-
-
-
-
-
-
-
-
-