-
公开(公告)号:CN116229506A
公开(公告)日:2023-06-06
申请号:CN202310099078.2
申请日:2023-02-09
Applicant: 上海交通大学
Abstract: 本发明提供一种三维人体姿态估计方法和系统,包括:通过不同方式获取不同类别的关节点嵌入信息,即输入包含2D姿态信息的同时,获得绝对和相对的图拓扑距离信息;构造面向姿态的自注意力机制和Transformer网络;将每个关节点不同类别嵌入信息的总和作为token,输入到Transformer网络中,提取姿态相关的全局特征;根据提取到的全局特征,通过对关节点的不确定度进行估计,进行不确定度引导的采样操作和姿态改善操作,实现基于不确定度引导的改善。本发明在自注意力机制中引入图拓扑结构和不确定信息,处理深度模糊问题;构建的Transformer网络,能够紧凑提取输入数据特征,节约网络模型参数量;显著提高含有自遮挡和复杂动作的姿态估计准确率,具有很强的灵活性和可扩展性。
-
公开(公告)号:CN113034414B
公开(公告)日:2022-11-11
申请号:CN202110304115.X
申请日:2021-03-22
Applicant: 上海交通大学
Abstract: 本发明提供了一种图像重构方法及系统,包括:将输入图像分解成一组卷积字典和稀疏向量卷积的和,在稀疏向量零范数约束下,建立压缩感知优化问题;基于所述压缩感知优化问题构建可微分优化深度神经网络,将所述测量信号作为所述深度神经网络的输入,从采样矩阵和测量信号求解卷积字典和稀疏向量,重构图像。同时提供了一种相应的图像重构装置及存储介质。本发明采用了基于卷积稀疏编码构建压缩感知图像重构模型,降低字典表示的冗余性;同时适用于随机矩阵采样和0/1稀疏矩阵采样模式,可分别适用于自然图像压缩感知重构和磁共振成像重构;具有更高的的重构精度。
-
公开(公告)号:CN112163990B
公开(公告)日:2022-10-25
申请号:CN202010932741.9
申请日:2020-09-08
Applicant: 上海交通大学
Abstract: 本发明提出了一种基于图卷积神经网络的360度图像的显著性预测方法及系统首先采用测地线二十面体构图方法将等距矩形投影格式的图像构造成球面图信号,然后将球面图信号输入提出的图卷积神经网络中进行特征提取并且生成球形显著性图信号,而后使用提出的基于球冠的插值算法将球形显著性图信号重建成等距矩形投影格式的显著性图。本发明进一步提出具有稀疏一致性的KL散度损失函数。本发明可以在主观和客观上达到优秀的显著性预测性能,并且在计算复杂度上优于现有方法。
-
公开(公告)号:CN112184840B
公开(公告)日:2022-09-02
申请号:CN202011002405.0
申请日:2020-09-22
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于多尺度结构化字典学习的3D点云压缩系统,其中:点云数据划分模块输出点云划分后的体素集合、不同尺度的体素块集合;几何信息编码模块输出编码的几何信息比特流;几何信息解码模块输出解码的几何信息;属性信号编码模块输出稀疏编码的系数矩阵与学习的多尺度结构化字典;属性信号编码模块输出学习到的多尺度结构化字典,属性信号压缩模块输出压缩后的属性信号比特流,属性信号解码模块输出解码的属性信号,3D点云重建模块完成重建。本发明适用于点云信号无损几何与有损属性压缩,利用点云信号天然的层次划分结构,沿着信号尺度由粗到精的方向,渐层地提升高频细节信息的重建质量,能够获得显著的性能增益。
-
公开(公告)号:CN113645487B
公开(公告)日:2022-05-17
申请号:CN202110796984.9
申请日:2021-07-14
Applicant: 上海交通大学
IPC: H04N21/24 , H04N21/2662 , H04N21/6379 , G06F17/18 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种网络吞吐量预测方法及码率自适应分配方法,包括:构建输入为待下载视频切片的前多个视频切片下载时间段内的网络吞吐量数据、输出为未来短期网络吞吐量预测统计分布的贝叶斯神经网络;构建超参神经网络,拟合贝叶斯神经网络的参数的统计分布;构建网络吞吐量数据集;利用网络吞吐量数据集对超参神经网络进行参数迭代更新,得到最优的超参神经网络的参数模型,以计算贝叶斯神经网络的参数分布,通过对贝叶斯神经网络的参数进行蒙特卡洛采样,计算出未来短期的网络吞吐量的统计分布平均值以及预测不确定度。通过本发明,提高了网络视频流传输的带宽利用率和鲁棒性,为用户提供了更好的视频服务质量。
-
公开(公告)号:CN114501013A
公开(公告)日:2022-05-13
申请号:CN202210042520.3
申请日:2022-01-14
Applicant: 上海交通大学
IPC: H04N19/146 , H04N19/109 , H04N19/11 , H04N19/124 , H04N19/31 , H04N19/91 , G06T9/00 , G06V20/40 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提供可变码率视频压缩方法、系统、装置及存储介质,包括:将参考帧图像通过卷积神经网络,得到参考帧的第一特征图,通过尺度缩放及可导量化得到参考帧的第二特征图,并进行逆缩放,得到重构的参考帧。将预测帧图像通过卷积神经网络,得到预测帧的第一特征图,通过尺度缩放及量化得到预测帧的第二特征图。将预测帧的第二特征图与参考帧的第二特征图相减,得到特征图残差;利用参考帧的第二特征图作为先验信息,对特征图残差进行无损熵编码,并传输至解码端;将特征图残差与参考帧的第二特征图相加并逆缩放后,通过卷积神经网络得到重构的预测帧。本发明利用尺度因子将特征图进行尺度缩放,从而得到不同码率质量对应的特征图。
-
公开(公告)号:CN114239799A
公开(公告)日:2022-03-25
申请号:CN202111464007.5
申请日:2021-12-03
Applicant: 上海交通大学
IPC: G06N3/04 , G06N3/08 , G06V10/764 , G06V10/774 , G06V10/82
Abstract: 本发明提供一种高效目标检测方法,包括:获取目标检测训练集;将所述训练集用于目标检测网络的预训练,得到全精度目标检测网络;自动调整所述目标检测网络的精度和参数,获得指定压缩率下的混合精度目标检测网络;采用所述混合精度目标检测网络对待检测图像进行处理,得到图像检测结果。本发明能基于给定的图像数据,自动调整设计目标检测网络的参数,减少模型大小,无需繁杂的人为设计,能够在不同的计算和存储资源下,自适应的调整模型大小,同时实现较高的图像检测准确率,保证了图像检测方法的稳定性和实用性。
-
公开(公告)号:CN113645487A
公开(公告)日:2021-11-12
申请号:CN202110796984.9
申请日:2021-07-14
Applicant: 上海交通大学
IPC: H04N21/24 , H04N21/2662 , H04N21/6379 , G06F17/18 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种网络吞吐量预测方法及码率自适应分配方法,包括:构建输入为待下载视频切片的前多个视频切片下载时间段内的网络吞吐量数据、输出为未来短期网络吞吐量预测统计分布的贝叶斯神经网络;构建超参神经网络,拟合贝叶斯神经网络的参数的统计分布;构建网络吞吐量数据集;利用网络吞吐量数据集对超参神经网络进行参数迭代更新,得到最优的超参神经网络的参数模型,以计算贝叶斯神经网络的参数分布,通过对贝叶斯神经网络的参数进行蒙特卡洛采样,计算出未来短期的网络吞吐量的统计分布平均值以及预测不确定度。通过本发明,提高了网络视频流传输的带宽利用率和鲁棒性,为用户提供了更好的视频服务质量。
-
公开(公告)号:CN113115077A
公开(公告)日:2021-07-13
申请号:CN202110269265.1
申请日:2021-03-12
Applicant: 上海交通大学
IPC: H04N21/238
Abstract: 本发明公开了一种静态点云服务器端码率自适应传输方法及系统,该方法包括:服务器端将静态点云划分为3D空间切片;用户端将用户观看信息以及显示屏幕分辨率实时反馈给服务器端,并从服务器端下载可分配给每个3D空间切片的码率版本全集;服务器端根据用户观看信息以及显示屏幕分辨率计算出每一个空间切片的QoE贡献;并采用空间切片组成的全集、空间切片的码率版本全集、网络资源限制、每一个空间切片的QoE贡献,建立基于空间切片的码率自适应分配的优化问题,得到最优空间切片码率版本子集。系统包括:用户端、服务器端,对应实现上述功能。通过本发明,提高了静态点云传输的带宽利用率,为用户提供更好的质量体验。
-
公开(公告)号:CN111131834B
公开(公告)日:2021-07-06
申请号:CN201911391009.9
申请日:2019-12-30
Applicant: 上海交通大学
IPC: H04N19/42 , H04N19/426 , H04N19/124 , H04N19/13 , G06N3/04
Abstract: 本发明提供一种可逆自编码器、编解码方法以及图像压缩方法、装置,其中可逆自编码器包括:编码信号分离模块、级联可逆编码模块、编码信号合成模块、解码信号分离模块、级联可逆解码模块、解码信号合成模块,其中:信号分离模块对输入图像进行分离、并生成两路信号,级联可逆编码模块和级联可逆解码模块对两路信号进行处理,信号合成模块对处理后的两路信号进行合成。本发明涉及了可逆自编码器的同事,还提供了其应用于图像压缩的方法,该方法与基准神经网络相比,在达到相同压缩效果的前提下可以减少一半的参数量与计算量。
-
-
-
-
-
-
-
-
-