公开(公告)号：CN111372084A

公开(公告)日：2020-07-03

申请号：CN202010100106.4

申请日：2020-02-18

Applicant: 北京大学

Inventor： 马思伟 ,  林凯 ,  贾川民 ,  王苫社 ,  赵政辉

IPC: H04N19/436 ,  H04N19/176 ,  H04N19/147 ,  H04N19/14 ,  H04N19/70 ,  H04N19/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向神经网络编解码工具的并行推理方法，包括：对待处理的图像进行边界扩充，得到边界完整的图像；根据光栅扫描顺序将所述边界完整的图像划分成大小相同的图像块；将所述大小相同的图像块组织成若干个张量，并将所述若干个张量作为一组张量同时送入神经网络中进行前向传播处理，其中，根据神经网络编码工具以及硬件显存大小设置所述张量的批尺寸值。通过上述方法，可以有效减少神经网络推理时的显存，降低神经网络视频编码工具的编解码复杂度。

公开(公告)号：CN115834905B

公开(公告)日：2023-04-11

申请号：CN202310089995.2

申请日：2023-02-09

Applicant: 北京大学 ,  咪咕文化科技有限公司

Inventor： 马思伟 ,  林凯 ,  贾川民 ,  王苫社 ,  冯亚楠 ,  周效军 ,  李琳

IPC: H04N19/503

Abstract: 本申请公开了一种帧间预测的方法、装置、电子设备及介质。本申请中，将参考帧输入到预设的第一时序学习模型中，推理一段时间内时空域的变化规律，并依据此导出初始预测信号；获取参考帧与待编码帧的高维特征，并将高维特征与初始预测信号融合到预设的第二时序学习模型中，得到扩展运动信息；基于扩展运动信息，对初始预测信号调整和增强。通过应用本申请的技术方案，可以实现一种利用第一时序学习模型提取用于表征若干个相邻的参考帧在时空域的变化规律的时域转换特征，导出内在运动信息，并利用第二序学习模型，学习扩展运动信息并以此得到预测帧。从而达到避免相关技术中出现的，采用固有的运动信息进行帧间预测会导致帧间预测的效果不佳的问题。

公开(公告)号：CN108830212B

公开(公告)日：2022-04-22

申请号：CN201810597905.X

申请日：2018-06-12

Applicant: 北京大学深圳研究生院

Inventor： 李革 ,  张涛 ,  李楠楠 ,  林凯 ,  孔伟杰 ,  李宏

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/40 ,  H04N7/18 ,  G06N3/04

Abstract: 本发明公布了一种视频行为时间轴检测方法，基于深度学习和时间结构建模，并结合粗粒度检测与细粒度检测做视频行为时间轴检测，在已有模型SSN的基础上，使用双流模型来提取视频的时空特征；对行为的时间结构进行建模，将单个行为分为三个阶段；接着提出一种新的能够有效提取视频行为的时间边界信息的特征金字塔；最后结合粗粒度检测与细粒度检测，使得检测结果更加精确；本发明的检测精度高，超过了当前已有的所有公开方法，具有广泛的适用性，可适用于智能监控系统或者人机监护系统中对人类感兴趣视频片段的检测，便于后续的分析与处理，具有重要的应用价值。