-
公开(公告)号:CN117011925A
公开(公告)日:2023-11-07
申请号:CN202310814418.5
申请日:2023-07-05
Applicant: 上海大学 , 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于注意力机制和深度先验的注视点检测方法,包括:对场景图中的头部图像进行特征提取得到视线特征,根据视线特征预测出注视方向,并根据注视方向进行编码生成注视场;将场景图、场景深度图和注视场输入至以ResNet网络为骨干的特征金字塔网络,得到视线区域定位注视区域的显著物体。本发明能够提高注视点检测的精度。
-
公开(公告)号:CN107371029B
公开(公告)日:2020-10-30
申请号:CN201710503913.9
申请日:2017-06-28
Applicant: 上海大学
IPC: H04N19/167 , H04N19/17 , H04N19/37 , H04N21/234 , H04L29/06
Abstract: 本发明公开了一种基于内容的视频包优先级分配方法,首先,根据NAL类型得到初始的slice优先级顺序,参数集优先级最高,I帧、P帧的优先级次高。然后用显著性加权的结构相似性来表示空域感知重要性,用运动活动性表示时域感知重要性,并联合得到空时域感知优先级。将优先级信息写入到NAL头文件中避免了产生额外的码流开销。信道解析NAL头文件,获取NAL类型和时空域感知优先级指标,从而确定每个视频包的优先级顺序。在丢包网络环境中,从低优先级开始丢弃,对高优先级的视频包予以保护。在解码端采用拷贝前一帧的简单方法进行错误隐藏得到解码视频。本发明方法在相同丢包率的情况下,视频质量比随机丢包方法得到的视频质量高,提高了视频传输的鲁棒性。
-
公开(公告)号:CN107046639B
公开(公告)日:2019-02-01
申请号:CN201610928733.0
申请日:2016-10-31
Applicant: 上海大学
IPC: H04N17/00 , H04N19/154 , H04N19/48
Abstract: 本发明公开了一种基于内容的HEVC码流质量预测模型,包括视频特征提取模块,内容类型分类矩阵计算模块和质量预测模型模块,视频特征提取模块利用码流中提取的视频特征信息,在内容类型分类矩阵计算模块中建立内容相关矩阵,然后利用内容相关矩阵通过质量预测模型模块建立视频质量预测模型,从而预测视频质量。内容类型分类矩阵计算模块包括时域复杂度子模块、空域复杂度子模块、码率标准差子模块和非零变换系数百分比子模块。本发明能保证低复杂度的情况下,利用码流中信息预测编码视频质量,预测精度高于其他算法。
-
公开(公告)号:CN107046639A
公开(公告)日:2017-08-15
申请号:CN201610928733.0
申请日:2016-10-31
Applicant: 上海大学
IPC: H04N17/00 , H04N19/154 , H04N19/48
CPC classification number: H04N17/00 , H04N19/154 , H04N19/48
Abstract: 本发明公开了一种基于内容的HEVC码流质量预测模型,包括视频特征提取模块,内容类型分类矩阵计算模块和质量预测模型模块,视频特征提取模块利用码流中提取的视频特征信息,在内容类型分类矩阵计算模块中建立内容相关矩阵,然后利用内容相关矩阵通过质量预测模型模块建立视频质量预测模型,从而预测视频质量。内容类型分类矩阵计算模块包括时域复杂度子模块、空域复杂度子模块、码率标准差子模块和非零变换系数百分比子模块。本发明能保证低复杂度的情况下,利用码流中信息预测编码视频质量,预测精度高于其他算法。
-
公开(公告)号:CN107509074B
公开(公告)日:2021-04-09
申请号:CN201710555070.7
申请日:2017-07-10
Applicant: 上海大学
IPC: H04N19/103 , H04N19/115 , H04N19/44 , H04N19/132 , H04N19/176 , H04N19/503 , H04N19/593 , H04N19/597 , H04N19/70
Abstract: 本发明公开了一种基于压缩感知的自适应3D视频编解码方法。首先将多视点视频划分为关键视点和非关键视点,对于关键视点又分为关键帧和非关键帧;对于关键帧采用较高的采样率;对于非关键帧按照当前帧与关键帧的残差进行图像块的分类(SKIP、INTER和COMBINED模式),不同模式采用不同的采样率;对于非关键视点也采用类似的办法。对于解码端先对关键视点的关键帧进行恢复;再利用关键帧信息对非关键帧进行恢复;对于非关键视点利用关键视点的信息进行恢复。本发明方法能有效地降低编码端的计算复杂度,能够适用于编码端计算能力弱而同时解码端拥有强大计算能力的场景,能显著提高3D视频压缩效率。
-
公开(公告)号:CN107509074A
公开(公告)日:2017-12-22
申请号:CN201710555070.7
申请日:2017-07-10
Applicant: 上海大学
IPC: H04N19/103 , H04N19/115 , H04N19/44 , H04N19/132 , H04N19/176 , H04N19/503 , H04N19/593 , H04N19/597 , H04N19/70
CPC classification number: H04N19/103 , H04N19/115 , H04N19/132 , H04N19/176 , H04N19/44 , H04N19/503 , H04N19/593 , H04N19/597 , H04N19/70
Abstract: 本发明公开了一种基于压缩感知的自适应3D视频编解码方法。首先将多视点视频划分为关键视点和非关键视点,对于关键视点又分为关键帧和非关键帧;对于关键帧采用较高的采样率;对于非关键帧按照当前帧与关键帧的残差进行图像块的分类(SKIP、INTER和COMBINED模式),不同模式采用不同的采样率;对于非关键视点也采用类似的办法。对于解码端先对关键视点的关键帧进行恢复;再利用关键帧信息对非关键帧进行恢复;对于非关键视点利用关键视点的信息进行恢复。本发明方法能有效地降低编码端的计算复杂度,能够适用于编码端计算能力弱而同时解码端拥有强大计算能力的场景,能显著提高3D视频压缩效率。
-
公开(公告)号:CN106534856A
公开(公告)日:2017-03-22
申请号:CN201610879363.6
申请日:2016-10-09
Applicant: 上海大学
IPC: H04N19/154 , H04N19/176 , H04N19/625 , H04N19/90
CPC classification number: H04N19/154 , H04N19/176 , H04N19/625 , H04N19/90
Abstract: 本发明公开了一种基于感知及随机置换的图像压缩感知方法,将图像分割成n×n的图像块,然后对每个图像块进行DCT变换;然后在DCT域利用JND模型计算JND值,并利用JND值对原始的DCT系数进行处理。即将小于JND值的DCT值置零,同时大于JND值的DCT值保持不变,再对处理后的数据进行随机置换;然后利用随机矩阵进行观测,得到压缩感知的测量值;最后对接收到的数据进行恢复。本发明方法在降低编码端复杂度的同时具有一定的抗数据丢失的能力,能够适用于编码端计算能力差而同时拥有强大的解码端的场合,能显著提高了压缩的效率。
-
公开(公告)号:CN108259891B
公开(公告)日:2020-11-24
申请号:CN201810172989.2
申请日:2018-03-02
Applicant: 上海大学
Abstract: 本发明公开了一种基于双目时空内在推理机制的3D视频质量盲评估方法。首先,通过双目时空内在推理机制将3D视频的两个视点分别分解成多通道视频,包括能预测部分和不确定部分。结合左右视点和双目差值图的能预测部分和不确定部分得到6个通道的视频。然后,对每个视频建立多通道自然视频(Natural video statistics,NVS)统计模型,并提取NVS模型的统计参数作为视频质量的特征。最后,采用一个AdaBoosting径向基函数网络对数据进行训练得到一个将特征映射为视频质量的模型。本发明方法在IRCCYN和IMCL两个通用3D视频数据库上进行试验,都具有较高的鲁棒性和准确性。
-
公开(公告)号:CN106331707B
公开(公告)日:2020-03-13
申请号:CN201610766137.7
申请日:2016-08-30
Applicant: 上海大学
IPC: H04N19/147 , H04N19/597 , H04N19/61
Abstract: 本发明涉及3D多视点视频编解码技术领域,尤其涉及一种利用视觉特性的多视点视频编码系统。结合DCT域经典JND模型与双目抑制理论,提出了一种基于恰可觉察失真模型的非对称感知视频编码系统及方法。其中,该系统包括经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块、基于JND模型的非对称视频编码框架模块,经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块共同决定基于JND模型的非对称视屏编码框架模板。本发明能够在主观质量不变的情况下,降低多视点视频编码码率,提高多视点视频编码效率,且相对于基于JND模型的对称视频编码方法,右视点码率能进一步节省。
-
公开(公告)号:CN106331707A
公开(公告)日:2017-01-11
申请号:CN201610766137.7
申请日:2016-08-30
Applicant: 上海大学
IPC: H04N19/147 , H04N19/597 , H04N19/61
Abstract: 本发明涉及3D多视点视频编解码技术领域,尤其涉及一种利用视觉特性的多视点视频编码系统。结合DCT域经典JND模型与双目抑制理论,提出了一种基于恰可觉察失真模型的非对称感知视频编码系统及方法。其中,该系统包括经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块、基于JND模型的非对称视频编码框架模块,经典DCT域最小可觉察失真阈值计算模块、基于双目抑制的JND阈值因子主观实验模块共同决定基于JND模型的非对称视屏编码框架模板。本发明能够在主观质量不变的情况下,降低多视点视频编码码率,提高多视点视频编码效率,且相对于基于JND模型的对称视频编码方法,右视点码率能进一步节省。
-
-
-
-
-
-
-
-
-