公开(公告)号：CN113132729B

公开(公告)日：2023-01-13

申请号：CN202010042012.6

申请日：2020-01-15

Applicant: 北京大学(CN)

Inventor： 刘家瑛 ,  王德昭 ,  夏思 ,  杨文瀚 ,  郭宗明

IPC: H04N19/139 ,  H04N19/82 ,  G06N3/04

Abstract: 本发明公开了一种基于多参考帧的环路滤波方法及电子装置，其步骤包括：将原始帧送入视频编码器进行编码得到当前帧，并获取所述当前帧的第一参考帧与第二参考帧；计算所述当前帧、所述第一参考帧以及所述第二参考帧两两间的光流集合；将所述当前帧、所述第一参考帧、所述第二参考帧以及所述光流集合送入一深度卷积循环神经网络，得到滤波重建帧。本发明利用空域信息之外，额外使用了时域信息，提出了联合学习机制，提升了参考帧的质量，在不显著提升网络参数量的基础上，获得了更好的编码性能。

公开(公告)号：CN115278249A

公开(公告)日：2022-11-01

申请号：CN202210735183.6

申请日：2022-06-27

Applicant: 北京大学

Inventor： 刘家瑛 ,  李书家 ,  王德昭 ,  黄浩峰 ,  郭宗明

IPC: H04N19/147 ,  H04N19/176 ,  H04N19/42 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于视觉自注意力网络的视频块级率失真优化方法及系统，属于数字视频增强领域，将多头自注意力机制引入视频压缩后处理任务中，充分利用自注意力机制强大的建模能力学习受损帧到无损帧的映射，并构建3种基于视觉自注意力网络的后处理模型，引入多种网络架构针对不同内容进行块级率失真优化，从而高效消除视频在解码重建时产生的伪影和压缩噪声。

公开(公告)号：CN113949880A

公开(公告)日：2022-01-18

申请号：CN202111026165.2

申请日：2021-09-02

Applicant: 北京大学

Inventor： 刘家瑛 ,  杨文瀚 ,  黄浩峰 ,  王德昭 ,  段凌宇

IPC: H04N19/42 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种极低码率人机协同图像编码训练方法及编解码方法。本方法为：1)利用训练集训练得到一个生成模型；2)对该训练集中的每一图像Ij进行特征提取和流形映射，得到Ij的流形特征；3)使用超先验模型对流形特征构建码率约束和编解码，得到二进制码流和重建后的流形特征；4)根据码率约束对Ij进行紧致损失函数计算；5)对重建后的流形特征进行人眼视觉映射并输入到生成模型中，根据所得人眼视觉重建结果进行损失函数计算；6)将重建后的流形特征输入到机器视觉模型中，根据所得机器视觉预测结果进行损失函数计算；7)将各损失进行加和更新权值；8)重复2)‑7)直到神经网络的损失收敛，得到极低码率人机协同图像编码器。