公开(公告)号：CN119728940A

公开(公告)日：2025-03-28

申请号：CN202411653608.4

申请日：2024-11-19

Applicant: 北京大学深圳研究生院

Inventor： 王荣刚 ,  汤路杨 ,  杨佳宇 ,  高文

IPC: H04N13/161 ,  H04N13/243 ,  H04N13/282

Abstract: 本申请公开了一种三维体积视频编码及生成方法、装置、电子设备及存储介质，涉及体积视频技术领域，包括：获取多视点视频中的关键多视点图像；根据关键多视点图像重建多视点视频的关键场景，并对关键场景编码得到关键场景的码流，以供解码得到关键场景表示模型；对预设变换缓存进行编码，得到非关键场景的码流，以供解码后结合上一时刻的场景表示模型，得到非关键场景表示模型；在遍历各非关键多视点图像后，基于关键场景表示模型和各非关键场景表示模型生成三维体积视频。本申请实现了快速、准确、高质量地生成三维体积视频的效果，显著提高了体积视频生成过程的数据处理效率，同时减少了数据传输量。

公开(公告)号：CN119379907A

公开(公告)日：2025-01-28

申请号：CN202411447037.9

申请日：2024-10-16

Applicant: 北京大学深圳研究生院

Inventor： 王荣刚 ,  吴嘉豪 ,  高文

IPC: G06T17/00 ,  G06T15/20 ,  G06N3/0499 ,  G06N3/096

Abstract: 本申请公开了一种动态场景重建方法、装置、设备、介质及产品，涉及计算机视觉技术领域，所述方法包括：获取初始帧图像；基于所述初始帧图像生成或确定动态点云及静态点云；对所述动态点云进行变形处理，得到变形后的动态点云；基于所述静态点云与所述变形后的动态点云进行混合渲染，得到目标渲染图像，通过划分动态点云及静态点云，避免对静态点云统一进行变形处理，可以降低变形所需的计算开销和存储需求，从而提高动态场景重建的效率。

公开(公告)号：CN117528104A

公开(公告)日：2024-02-06

申请号：CN202311441926.X

申请日：2023-10-31

Applicant: 北京大学深圳研究生院

Inventor： 王荣刚 ,  杨佳宇 ,  高文

IPC: H04N19/51 ,  H04N19/577 ,  H04N19/61 ,  H04N19/177 ,  H04N19/42 ,  G06N3/08

Abstract: 本发明公开了一种基于P、B帧的视频压缩方法、装置及可读存储介质，其方法包括：基于各个训练样本中的非关键帧，确定各个训练样本对应的帧间预测帧；在训练阶段获取各个训练样本对应的P帧以及B帧，并基于各个训练样本对应的帧间预测帧、P帧以及B帧更新编码框架的参数，以获得目标编码框架；获取待压缩视频中各个图像组，基于各个图像组对应的运动信息，确定各个图像组对应的目标帧类型；基于所述目标帧类型对应的预测结构，分别通过所述目标编码框架对各个图像组进行P帧编码和/或B帧编码，以获得目标压缩视频。本发明可以在一个深度学习视频编码框架中同时支持P帧和B帧的编码，拓展了深度学习视频编码的应用场景。

公开(公告)号：CN109785263B

公开(公告)日：2022-09-16

申请号：CN201910030455.0

申请日：2019-01-14

Applicant: 北京大学深圳研究生院

Inventor： 王荣刚 ,  王超 ,  王振宇 ,  高文

IPC: G06T5/00 ,  H04N9/64 ,  H04N9/77

Abstract: 本发明公布了一种基于Retinex的逆色调映射图像转换方法，基于多尺度Retinex模型，将逆色调映射分为动态范围扩展子任务和细节纹理恢复子任务；针对逆色调映射的子任务设计不同的逆色调映射网络，得到恢复后的光照分量和反射分量，再基于多尺度Retinex模型进行合并，得到高动态范围图像。与现有的技术相比，本发明方法具有减少色偏，恢复过曝区域信息等优势；能够鲁棒地完成低动态范围图像向高动态范围图像转换。在扩展动态范围的同时，还能恢复过曝区域纹理以及保证颜色不失真。

公开(公告)号：CN114071115A

公开(公告)日：2022-02-18

申请号：CN202010759861.3

申请日：2020-07-31

Applicant: 阿里巴巴集团控股有限公司 ,  北京大学深圳研究生院

Inventor： 王荣刚 ,  蔡砚刚 ,  顾嵩 ,  盛骁杰

IPC: H04N13/271 ,  H04N13/282

Abstract: 自由视点视频重建及播放处理方法、设备及存储介质，其中，视频重建方法包括：获取自由视点视频帧，所述视频帧包括同步的多个原始视点的原始纹理图和对应视点的原始深度图；获取虚拟视点对应的目标视频帧；采用所述目标视频帧中多个原始视点的原始纹理图和对应的原始深度图，合成所述虚拟视点的纹理图；获取所述目标视频帧对应视点的背景纹理图和背景深度图，并根据所述对应视点的背景纹理图和背景深度图，获取所述虚拟视点的背景纹理图；采用所述虚拟视点的背景纹理图，对所述虚拟视点的纹理图中的空洞区域进行空洞填补后处理，得到所述虚拟视点的重建图像。上述方案能够提高空洞填补质量，进而可以提高自由视点视频的图像质量。

公开(公告)号：CN113905186A

公开(公告)日：2022-01-07

申请号：CN202111041026.7

申请日：2021-09-02

Applicant: 北京大学深圳研究生院

Inventor： 王荣刚 ,  王振宇 ,  高文

IPC: H04N5/265 ,  H04N21/44 ,  H04N21/4402 ,  H04N21/845

Abstract: 本发明公开了一种自由视点视频画面拼接方法、终端及可读存储介质，所述自由视点视频画面拼接方法包括以下步骤：接收显示请求，根据所述显示请求获取目标时间戳以及目标视点对应的视点标识；接收视频码流，通过解码器解码所述视频码流，获取视频序列；获取所述视频序列中所述目标时间戳对应的视频帧组；根据所述视频帧组的排布信息以及所述目标视点对应的视点标识截取目标图像；将所述目标图像发送至显示端。本发明通过将同一时刻不同视点对应的视频画面拼接生成多个视频帧并发送至解码端，解码端接收视频帧并从所述视频帧中截取显示当前视点对应的图像，从而减少一个视频帧拼接的视频画面，以达到提高分辨率的目的。

公开(公告)号：CN109344266B

公开(公告)日：2021-08-06

申请号：CN201811106799.7

申请日：2018-09-21

Applicant: 北京大学深圳研究生院

Inventor： 王文敏 ,  夏雅娴 ,  韩梁 ,  王荣刚 ,  李革 ,  高文

IPC: G06F16/48 ,  G06F16/435

Abstract: 本发明公布了一种基于双语义空间的对抗性跨媒体检索方法，涉及模式识别、自然语言处理、多媒体检索等技术领域；包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程。本发明通过建立同构双语义空间，即文本子空间和图像子空间，实现在最大限度保留原有图像和文本信息的同时消除语义鸿沟；并通过对抗训练来优化同构子空间数据分布，挖掘多媒体数据中丰富的语义信息，在保证类别不变、模态可区分的情况下拟合语义空间中不同模态的向量分布。本发明方法能够有效的消除不同模态信息异构性，实现有效的跨媒体检索，在图文检索、模式识别等领域具有广泛的市场需求和应用前景。

公开(公告)号：CN111988596A

公开(公告)日：2020-11-24

申请号：CN202010853410.6

申请日：2020-08-23

Applicant: 咪咕视讯科技有限公司 ,  北京大学 ,  咪咕文化科技有限公司 ,  中国移动通信集团有限公司

Inventor： 贝悦 ,  王琦 ,  程志鹏 ,  赖亚文 ,  蔡砚刚 ,  王荣刚

IPC: H04N13/106 ,  H04N13/122

Abstract: 本发明公开了一种虚拟视点合成方法、装置、电子设备及可读存储介质，属于图像处理技术领域。具体实现方案包括：确定进行虚拟视点合成时所需的目标参考视点的数量N；所述N为大于2的整数；根据预设约束条件，从当前所有参考视点中选取N个目标参考视点；根据所述N个目标参考视点进行虚拟视点合成。这样相比于现有技术，可以实现使用较多的参考视点映射到虚拟视点，提升虚拟视点的合成质量。

公开(公告)号：CN111800653A

公开(公告)日：2020-10-20

申请号：CN202010748734.3

申请日：2020-07-29

Applicant: 北京大学深圳研究生院

Inventor： 王荣刚 ,  王振宇 ,  高文

IPC: H04N21/2343 ,  H04N21/4402 ,  H04N21/472 ,  H04N21/643

Abstract: 本发明公开了一种视频解码方法、系统、设备及计算机可读存储介质，所述视频解码方法通过在对图像码流进行解码之前，先将待播放视频的不同视点所对应的背景帧码流进行解码，得到重建背景帧，使得提前完成了解码图像码流时的所必须的部分操作，减轻了设备在进行图像码流解码时的处理负担，提升了整体的视频解码效率；通过在解码时仅参考重建背景帧的这一独立参照依据对各路目标视频所对应的图像码流进行解码，由于各图像码流解码仅依赖重建背景帧，而不依赖已解码的其他图像，因此达到不同视点对应目标视频间的实时自由切换并流畅播放的目的，同时较之完全无帧间依赖的方式，具有更高的视频压缩效率，以及系统实现的简单性。

公开(公告)号：CN109831670B

公开(公告)日：2020-04-24

申请号：CN201910141265.6

申请日：2019-02-26

Applicant: 北京大学深圳研究生院

Inventor： 王荣刚 ,  王振宇 ,  高文

IPC: H04N19/124 ,  H04N19/44

Abstract: 本申请公开了一种反量化方法、系统、设备及计算机可读介质。本申请实施例的方法包括：基于量化块的尺寸对所述量化块中每个量化系数进行置零判定，判定所述量化系数对应的反变换系数是否可以直接置0；当所述量化系数对应的反变换系数不可以直接置0时，对所述量化系数进行反量化计算，获取对应的反变换系数。相较于现有技术，根据本发明实施例的反量化方法通过置零判定，在反量化计算前就将反量化后得到的反变换块中的非0系数控制在合适区域，从而控制反变换块的复杂程度，进而有效控制反变换过程的复杂程度，并最终降低软硬件解码器的实现难度。