一种基于自学属性的图像理解方法及系统

    公开(公告)号:CN112215303B

    公开(公告)日:2022-02-11

    申请号:CN202011220857.6

    申请日:2020-11-05

    Abstract: 本发明涉及一种基于自学属性的图像理解方法及系统,属于计算机视觉以及图像理解技术领域。所述图像理解系统,包括输入模块、属性标签生成模块、卷积神经网络模块和输出模块;卷积神经网络模块包括主干网络、图像理解任务模型及自学属性模型;所述方法的训练阶段,对训练样本A进行解码和预处理,得到图像矩阵和任务标签;对解码后的训练样本A进行扩充,得到样本B和样本C,并基于样本A、B及C间的关系生成属性标签,再得到最优的模型参数;测试阶段,对测试图像进行解码和预处理,得到图像矩阵,再对输入的测试图像进行预测,得到图像理解的结果。所述方法无需额外人工标注,能得到更具有表征能力的特征,进一步提升图像理解的结果。

    VR音视频整体用户体验质量评估方法

    公开(公告)号:CN108683909B

    公开(公告)日:2020-07-07

    申请号:CN201810760545.0

    申请日:2018-07-12

    Abstract: 本发明公开的VR音视频整体用户体验质量评估方法,特别涉及虚拟现实环境中的音视频整体用户体验质量评估方法,属于多媒体技术领域。本发明实现方法为:将待测VR音视频和参考VR音视频通过第一层中的视频质量、音频质量、音视频时间相互作用和空间相互作用模型,分别计算出待测VR音视频的视频质量参数、音频质量参数、音视频时间参数和音视频空间参数;将所述四个参数输入第二层中的整体质量融合模型,最终输出待测VR音视频的整体质量分数;所述的空间相互作用模型是由基于用户主观感受而设计的函数关系实现的。本发明能够反映音视频空间相互作用对VR音视频整体用户体验质量的影响,使评估效果更符合用户的主观感受。

    一种基于多层级质量因子的全景视频评估方法及系统

    公开(公告)号:CN107483920A

    公开(公告)日:2017-12-15

    申请号:CN201710683578.5

    申请日:2017-08-11

    CPC classification number: H04N17/00 H04N5/265 H04N2017/008

    Abstract: 本发明涉及一种基于多层级质量因子的全景视频评估方法及系统,属于多媒体技术领域。本发明将输入一段无损全景视频和一段同样内容的损伤视频,输出损伤视频的质量评估结果,实现对损伤视频的自动评估;其思想是基于多层级的感兴趣区域计算多个质量因子,以应对全景视频中的重要区域对视频质量影响较大的问题;然后通过融合模型将多层级质量因子进行融合,模型参数可由主观数据学习得到,以应对全景视频用户的主观能动性。本方法适用于全景视频质量评估:由于考虑并融合了多层级的用户感兴趣区域对视频质量的影响,得到的损伤视频的质量评价估值与主观实验的评价结果更一致,更适用于对全景视频质量的自动评价。

    VR音视频整体用户体验质量评估方法

    公开(公告)号:CN108683909A

    公开(公告)日:2018-10-19

    申请号:CN201810760545.0

    申请日:2018-07-12

    Abstract: 本发明公开的VR音视频整体用户体验质量评估方法,特别涉及虚拟现实环境中的音视频整体用户体验质量评估方法,属于多媒体技术领域。本发明实现方法为:将待测VR音视频和参考VR音视频通过第一层中的视频质量、音频质量、音视频时间相互作用和空间相互作用模型,分别计算出待测VR音视频的视频质量参数、音频质量参数、音视频时间参数和音视频空间参数;将所述四个参数输入第二层中的整体质量融合模型,最终输出待测VR音视频的整体质量分数;所述的空间相互作用模型是由基于用户主观感受而设计的函数关系实现的。本发明能够反映音视频空间相互作用对VR音视频整体用户体验质量的影响,使评估效果更符合用户的主观感受。

    一种基于自学属性的图像理解方法及系统

    公开(公告)号:CN112215303A

    公开(公告)日:2021-01-12

    申请号:CN202011220857.6

    申请日:2020-11-05

    Abstract: 本发明涉及一种基于自学属性的图像理解方法及系统,属于计算机视觉以及图像理解技术领域。所述图像理解系统,包括输入模块、属性标签生成模块、卷积神经网络模块和输出模块;卷积神经网络模块包括主干网络、图像理解任务模型及自学属性模型;所述方法的训练阶段,对训练样本A进行解码和预处理,得到图像矩阵和任务标签;对解码后的训练样本A进行扩充,得到样本B和样本C,并基于样本A、B及C间的关系生成属性标签,再得到最优的模型参数;测试阶段,对测试图像进行解码和预处理,得到图像矩阵,再对输入的测试图像进行预测,得到图像理解的结果。所述方法无需额外人工标注,能得到更具有表征能力的特征,进一步提升图像理解的结果。

    一种基于多层级质量因子的全景视频评估方法及系统

    公开(公告)号:CN107483920B

    公开(公告)日:2018-12-21

    申请号:CN201710683578.5

    申请日:2017-08-11

    Abstract: 本发明涉及一种基于多层级质量因子的全景视频评估方法及系统,属于多媒体技术领域。本发明将输入一段无损全景视频和一段同样内容的损伤视频,输出损伤视频的质量评估结果,实现对损伤视频的自动评估;其思想是基于多层级的感兴趣区域计算多个质量因子,以应对全景视频中的重要区域对视频质量影响较大的问题;然后通过融合模型将多层级质量因子进行融合,模型参数可由主观数据学习得到,以应对全景视频用户的主观能动性。本方法适用于全景视频质量评估:由于考虑并融合了多层级的用户感兴趣区域对视频质量的影响,得到的损伤视频的质量评价估值与主观实验的评价结果更一致,更适用于对全景视频质量的自动评价。

Patent Agency Ranking