公开(公告)号：CN112163990A

公开(公告)日：2021-01-01

申请号：CN202010932741.9

申请日：2020-09-08

Applicant: 上海交通大学

Inventor： 李成林 ,  吕浩然 ,  杨琴 ,  邹君妮 ,  戴文睿 ,  熊红凯

IPC: G06T3/00 ,  G06T3/40 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于图卷积神经网络的360度图像的显著性预测方法及系统首先采用测地线二十面体构图方法将等距矩形投影格式的图像构造成球面图信号，然后将球面图信号输入提出的图卷积神经网络中进行特征提取并且生成球形显著性图信号，而后使用提出的基于球冠的插值算法将球形显著性图信号重建成等距矩形投影格式的显著性图。本发明进一步提出具有稀疏一致性的KL散度损失函数。本发明可以在主观和客观上达到优秀的显著性预测性能，并且在计算复杂度上优于现有方法。

公开(公告)号：CN117956165A

公开(公告)日：2024-04-30

申请号：CN202211365606.6

申请日：2022-10-31

Applicant: 上海交通大学

Inventor： 李成林 ,  高文轩 ,  潘新龙 ,  吕浩然 ,  戴文睿 ,  邹君妮 ,  熊红凯 ,  王海鹏 ,  刘瑜

IPC: H04N19/159 ,  H04N19/167 ,  H04N19/147 ,  H04N19/124

Abstract: 本发明提供了一种基于分片的360度视频流编码方法及其优化方法和系统，通过选择最佳的编码参数：分片高度、分片宽度和量化步长，在给定的传输带宽下，最小化用户视窗显示的视频失真，从而达到传输效率和编码效率的折衷。具体地，通过估计传输覆盖用户视窗所需的平均像素数来量化传输效率，利用经过训练的基于CNN的预测器，根据视频内容特征预测编码效率，表示为编码一个像素所需的比特数。然后，提出了一个基于分片编码的率失真优化问题，通过减少可行的编码参数集的方法有效地解决这个问题，得到最优编码参数。仿真结果表明，提出的最优分片编码在率失真行为方面优于固定分片和最先进的自适应分片方法。

公开(公告)号：CN112163990B

公开(公告)日：2022-10-25

申请号：CN202010932741.9

申请日：2020-09-08

Applicant: 上海交通大学

Inventor： 李成林 ,  吕浩然 ,  杨琴 ,  邹君妮 ,  戴文睿 ,  熊红凯

IPC: G06T3/00 ,  G06T3/40 ,  G06V10/46 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于图卷积神经网络的360度图像的显著性预测方法及系统首先采用测地线二十面体构图方法将等距矩形投影格式的图像构造成球面图信号，然后将球面图信号输入提出的图卷积神经网络中进行特征提取并且生成球形显著性图信号，而后使用提出的基于球冠的插值算法将球形显著性图信号重建成等距矩形投影格式的显著性图。本发明进一步提出具有稀疏一致性的KL散度损失函数。本发明可以在主观和客观上达到优秀的显著性预测性能，并且在计算复杂度上优于现有方法。