-
公开(公告)号:CN117956165A
公开(公告)日:2024-04-30
申请号:CN202211365606.6
申请日:2022-10-31
Applicant: 上海交通大学
IPC: H04N19/159 , H04N19/167 , H04N19/147 , H04N19/124
Abstract: 本发明提供了一种基于分片的360度视频流编码方法及其优化方法和系统,通过选择最佳的编码参数:分片高度、分片宽度和量化步长,在给定的传输带宽下,最小化用户视窗显示的视频失真,从而达到传输效率和编码效率的折衷。具体地,通过估计传输覆盖用户视窗所需的平均像素数来量化传输效率,利用经过训练的基于CNN的预测器,根据视频内容特征预测编码效率,表示为编码一个像素所需的比特数。然后,提出了一个基于分片编码的率失真优化问题,通过减少可行的编码参数集的方法有效地解决这个问题,得到最优编码参数。仿真结果表明,提出的最优分片编码在率失真行为方面优于固定分片和最先进的自适应分片方法。
-
公开(公告)号:CN117710726A
公开(公告)日:2024-03-15
申请号:CN202311646288.5
申请日:2023-12-04
Applicant: 上海交通大学
IPC: G06V10/764 , G06V20/64 , G06V10/44 , G06V10/82 , G06V10/42 , G06V10/80 , G06T3/40 , G06N3/042 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种鲁棒的点云分类方法、系统及装置,包括:将三维点云进行缩放,投射到预先构建的晶格上,计算每个点到晶格的逐点映射关系;计算晶格密度,去除孤立晶格点,得到尺度的晶格上的鲁棒点云表示;对鲁棒点云表示进行基于晶格密度的最远点采样,得到下一尺度的更粗糙点云表示的中心点;根据每个中心点的邻域,综合空间距离和密度差异构建邻接矩阵,提取尺度的特征;从最精细点云表示到最粗糙点云表示逐个尺度提取特征,最终得到全局特征,利用全局特征进行三维点云分类。本发明可以在保证点云分类准确性的前提下,显著提高点云分类对于噪声和离群点的鲁棒性,促进在自动驾驶、机器人等实际场景采集的有噪点云上的应用。
-
公开(公告)号:CN117156185A
公开(公告)日:2023-12-01
申请号:CN202311142643.5
申请日:2023-09-06
Applicant: 上海交通大学
IPC: H04N21/2662 , H04N21/6379
Abstract: 本发明提供一种流媒体码率自适应方法及其动作剪枝系统,包括:网络吞吐预测模块以网络历史吞吐量信息为输入,未来一段时间内网络吞吐量预测值为输出;可选码率空间剪枝规则模块根据所述网络吞吐量预测值和流媒体线性观看体验指标表达式决定每个可选码率版本的剪枝结果;码率选择掩码模块基于所述每个可选码率版本的剪枝结果,作用于各类码率自适应方法决策过程,用于降低决策计算复杂度及提高决策鲁棒性。本发明动作剪枝系统作为现有码率自适应方法的辅助模块,能提升方法鲁棒性能,并有效降低基于模型的码率自适应方法计算复杂度。
-
公开(公告)号:CN113673591B
公开(公告)日:2023-12-01
申请号:CN202110931387.2
申请日:2021-08-13
Applicant: 上海交通大学
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种自调整采样优化的图像分类方法、设备及介质,包括:获取训练图像;最小化训练图像分类的交叉熵,自动确定深度神经网络的网络结构和参数;采用得到的所述深度神经网络对待分类图像进行处理,得到图像分类结果。本发明能基于给定的图像数据,自动调整设计基于深度神经网络的图像分类方法,减少人为设计的繁杂性和人力资源消耗,同时在计算资源限定的情况下,能实现较高的分类准确率,保证了图像分类方法的稳定性和实用性。
-
公开(公告)号:CN116884085A
公开(公告)日:2023-10-13
申请号:CN202310829392.1
申请日:2023-07-07
Applicant: 上海交通大学
IPC: G06V40/20 , G06V10/44 , G06V10/764
Abstract: 本发明提供一种动作提示的三维人体姿态估计方法和系统,包括:通过姿态编码器,从二维姿态序列中提取姿态位置特征、姿态序列特征和动作特征;根据姿态位置特征获得文本提示特征;对齐文本提示特征与动作特征,提取动作类别信息;选择对应动作类别信息的姿态提示特征,基于姿态提示特征与姿态序列特征间的相关性进行组合,得到增强姿态序列特征;将增强姿态序列特征通过线性映射得到三维姿态估计。本发明在姿态估计过程中,挖掘动作相关先验信息,引入动作相关文本、姿态特征的多模态信息,处理深度模糊问题;其即插即用模块,紧凑提取输入数据特征,节约网络模型参数量;显著提高含有自遮挡和复杂动作的姿态估计准确率,提升灵活性和可扩展性。
-
公开(公告)号:CN113255892B
公开(公告)日:2023-09-05
申请号:CN202110609293.3
申请日:2021-06-01
Applicant: 上海交通大学烟台信息技术研究院
IPC: G06N3/082 , G06V10/764
Abstract: 本发明提供一种解耦合的网络结构搜索方法、设备及可读存储介质,包括:确定搜索空间,构建超网络;将超网络解耦成为各自独立的单一操作子网络;获取图像数据并分别作为超网络的网络参数、结构参数的训练数据;生成特征图,计算网络参数的交叉熵损失函数和变分丢弃损失函数,得到各通道丢弃概率,训练单一操作子网络至收敛并根据通道丢弃概率得到剪枝网络;将剪枝后的单一操作子网络组合成为超网络,生成特征图,计算交叉熵损失函数,更新超网络的结构参数;得到最终网络。本发明在保证较高的性能同时大幅度减少搜索时间和降低计算复杂度,保证了搜索的稳定性和实用性,可用于图像目标检测、分类等领域,提高图像处理速度。
-
公开(公告)号:CN116229506A
公开(公告)日:2023-06-06
申请号:CN202310099078.2
申请日:2023-02-09
Applicant: 上海交通大学
Abstract: 本发明提供一种三维人体姿态估计方法和系统,包括:通过不同方式获取不同类别的关节点嵌入信息,即输入包含2D姿态信息的同时,获得绝对和相对的图拓扑距离信息;构造面向姿态的自注意力机制和Transformer网络;将每个关节点不同类别嵌入信息的总和作为token,输入到Transformer网络中,提取姿态相关的全局特征;根据提取到的全局特征,通过对关节点的不确定度进行估计,进行不确定度引导的采样操作和姿态改善操作,实现基于不确定度引导的改善。本发明在自注意力机制中引入图拓扑结构和不确定信息,处理深度模糊问题;构建的Transformer网络,能够紧凑提取输入数据特征,节约网络模型参数量;显著提高含有自遮挡和复杂动作的姿态估计准确率,具有很强的灵活性和可扩展性。
-
公开(公告)号:CN113034414B
公开(公告)日:2022-11-11
申请号:CN202110304115.X
申请日:2021-03-22
Applicant: 上海交通大学
Abstract: 本发明提供了一种图像重构方法及系统,包括:将输入图像分解成一组卷积字典和稀疏向量卷积的和,在稀疏向量零范数约束下,建立压缩感知优化问题;基于所述压缩感知优化问题构建可微分优化深度神经网络,将所述测量信号作为所述深度神经网络的输入,从采样矩阵和测量信号求解卷积字典和稀疏向量,重构图像。同时提供了一种相应的图像重构装置及存储介质。本发明采用了基于卷积稀疏编码构建压缩感知图像重构模型,降低字典表示的冗余性;同时适用于随机矩阵采样和0/1稀疏矩阵采样模式,可分别适用于自然图像压缩感知重构和磁共振成像重构;具有更高的的重构精度。
-
公开(公告)号:CN112163990B
公开(公告)日:2022-10-25
申请号:CN202010932741.9
申请日:2020-09-08
Applicant: 上海交通大学
Abstract: 本发明提出了一种基于图卷积神经网络的360度图像的显著性预测方法及系统首先采用测地线二十面体构图方法将等距矩形投影格式的图像构造成球面图信号,然后将球面图信号输入提出的图卷积神经网络中进行特征提取并且生成球形显著性图信号,而后使用提出的基于球冠的插值算法将球形显著性图信号重建成等距矩形投影格式的显著性图。本发明进一步提出具有稀疏一致性的KL散度损失函数。本发明可以在主观和客观上达到优秀的显著性预测性能,并且在计算复杂度上优于现有方法。
-
公开(公告)号:CN112184840B
公开(公告)日:2022-09-02
申请号:CN202011002405.0
申请日:2020-09-22
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于多尺度结构化字典学习的3D点云压缩系统,其中:点云数据划分模块输出点云划分后的体素集合、不同尺度的体素块集合;几何信息编码模块输出编码的几何信息比特流;几何信息解码模块输出解码的几何信息;属性信号编码模块输出稀疏编码的系数矩阵与学习的多尺度结构化字典;属性信号编码模块输出学习到的多尺度结构化字典,属性信号压缩模块输出压缩后的属性信号比特流,属性信号解码模块输出解码的属性信号,3D点云重建模块完成重建。本发明适用于点云信号无损几何与有损属性压缩,利用点云信号天然的层次划分结构,沿着信号尺度由粗到精的方向,渐层地提升高频细节信息的重建质量,能够获得显著的性能增益。
-
-
-
-
-
-
-
-
-