渐进式特权信息蒸馏的在线动作检测方法和系统

    公开(公告)号:CN114120189A

    公开(公告)日:2022-03-01

    申请号:CN202111388139.4

    申请日:2021-11-22

    Abstract: 本发明提供了一种渐进式特权信息蒸馏的在线动作检测方法及系统,包括:步骤S1:对未经裁剪的视频使用视频特征提取网络进行特征提取,得到能够表达视频语义信息的视频特征序列;步骤S2:截取当前时刻之后不同时长的视频,并利用相应的视频特征序列分别对多个不同的离线教师模型进行训练;步骤S3:利用提取的视频特征序列对在线学生模型进行训练,得到训练后的在线学生模型;步骤S4:将离线教师模型和在线学生模型在模型层面的不同层次间进行特征对齐;步骤S5:特征对齐后,在线学生模型通过渐进式模型蒸馏的方式向多个不同的离线教师模型学习;步骤S6:利用提取的视频特征序列根据蒸馏学习后的的在线学生模型预测当前时刻动作检测的结果。

    一种单帧监督视频时序动作检测与分类方法及系统

    公开(公告)号:CN113936174A

    公开(公告)日:2022-01-14

    申请号:CN202111190861.7

    申请日:2021-10-13

    Abstract: 本发明提供了一种单帧监督视频时序动作检测与分类方法及系统,包括:根据输入长视频提取视频特征图;将视频特征图映射为动作种子帧概率图;产生动作种子帧位置;根据动作种子帧位置将输入长视频划分为若干个单实例视频片段;将单实例视频片段特征映射为动作位置提案;将动作位置提案映射为时序位置掩膜;基于时序位置掩膜获取单实例视频片段中的动作特征、背景特征;将动作特征、背景特征映射为动作类别概率、背景类别概率;基于动作位置提案、动作类别概率产生视频的检测与分类结果。本发明采用分而治之的策略将单帧监督时序动作检测与分类任务化繁为简,实现更完整、更精确的时序动作检测与分类。

    自监督模型预训练方法、系统及介质

    公开(公告)号:CN112651916A

    公开(公告)日:2021-04-13

    申请号:CN202011567684.5

    申请日:2020-12-25

    Abstract: 本发明提供了一种自监督模型预训练方法、系统及介质,包括:对不同模态图像使用归一化方法进行预处理;对归一化图像使用非线性变换、局部扰动、内部填充和外部填充得到变换后的图像;对变换后的图像使用深度卷积神经网络提取图像的模态不变图像特征;对变换后的图像,使用密集连接模态判别网络提取图像特征,与模态不变图像特征进行对抗学习;对模态不变图像特征,使用多层次特征学习网络进行尺度预测;对模态不变特征图像特征使用图像恢复网络得到恢复图像;根据恢复图像和归一化图像实现自监督学习。本发明对不同模态图像提取模态不变的且有较强多层次判别力的特征,通过有效的自监督学习,提高了预训练模型的泛化能力,实现良好的通用性。

    基于深度学习的感兴趣区域图像编码、解码系统及方法

    公开(公告)号:CN109889839B

    公开(公告)日:2020-11-20

    申请号:CN201910240106.1

    申请日:2019-03-27

    Abstract: 本发明公开了一种基于深度学习的感兴趣区域图像编码系统及方法,包括感兴趣区域编码网络模块、码率分配模块和熵编码模块。图像输入系统后,感兴趣区域编码网络模块同时对输入图像进行正向多尺度分解变换以及感兴趣区域分割预测,得到图像的多尺度特征和感兴趣区域掩模,再经过码率分配模块为感兴趣区域分配更多的特征,分配后的特征经过量化和熵编码得到二进制码流;同时提供了一种感兴趣区域图像解码系统及方法,用于解码上述编码系统及方法形成的编码。本发明使用深度学习技术构建感兴趣区域编解码网络和熵编解码器,利用大量数据训练得到最优模型参数,在实际应用中可达到显著优于现有感兴趣编码系统的主观和客观的编码性能。

    一种基于编码单元层次的HEVC复杂度控制方法

    公开(公告)号:CN106231300B

    公开(公告)日:2020-06-12

    申请号:CN201610585079.8

    申请日:2016-07-22

    Abstract: 本发明提供一种基于编码单元层次的HEVC复杂度控制方法,包括以下步骤:用户设定视频编码目标复杂度系数,正常编码并统计第一个GOP中的各个编码单元层次的复杂度和一个GOP的总的复杂度,计算出各个编码单元层次的复杂度的比值,并通过不同的编码单元层次组合得到不同的门限值;把目标复杂度平均分配到待编码GOP内的每一帧,把复杂度平均分配给剩下的编码树单元,每个编码树单元根据分配到的复杂度选择编码单元层次的组合,编码完成后更新剩余的复杂度。本发明能够在GOP级别在一定范围内实现复杂度的控制,在每一帧编码复杂度的控制上更为准确,波动更小。

    交互式图像分割方法、系统及终端

    公开(公告)号:CN111179284A

    公开(公告)日:2020-05-19

    申请号:CN201911405917.9

    申请日:2019-12-30

    Abstract: 本发明提供了一种交互式图像分割方法、系统及终端,所述方法包括:S1,获取图像的初始分割结果;S2,根据当前图像分割结果选择至少一个错误区域,对每个错误区域的中心点进行标记,作为交互提示点;S3,计算图像上各点与每个所述交互提示点之间的距离生成提示图;S4,根据当前图像分割结果和所述提示图,利用深度增强学习全卷积神经网络调整分割概率,对当前图像分割结果进行改善,得到图像分割改善结果;S5,对所述图像分割改善结果进行评价,若满意则作为最终图像分割结果,若不满意则重新回到S2,进行迭代更新。本发明能辅助专家进行图像分割标注,减轻了专家的标注负担,提高了标注的性能和效率。

    脊骨脱位辅助诊断方法及系统

    公开(公告)号:CN110660480A

    公开(公告)日:2020-01-07

    申请号:CN201910912803.7

    申请日:2019-09-25

    Abstract: 本发明提供了一种脊骨脱位辅助诊断方法及系统,所述方法包括:粗分割网络训练步骤:通过少量标注了脊骨椎体四个顶点的数据训练粗略的分割网络;滑窗提取步骤:对输入图像按照其中脊骨椎体的大小提取滑窗进行数据增广;特征提取步骤:对于输入的医疗影像通过深度神经网络提取高层语义特征;类别激活图生成步骤:利用分类网络中已有的参数生成类别激活图;专家知识引导步骤:利用分割网络得到粗略分割结果定位前后边缘的大致位置,并以此约束神经网络类别激活图中的概率分布。本发明对于脊骨脱位诊断的准确率和可解释性,并且在数据量较小时能保持很好的性能。

    基于场景深度估计的视频帧率上变换系统及方法

    公开(公告)号:CN110351511A

    公开(公告)日:2019-10-18

    申请号:CN201910575778.8

    申请日:2019-06-28

    Abstract: 本发明提供了一种基于场景深度估计的视频帧率上变换系统及方法,其中系统包括模块一:光流估计网络;模块二:场景深度估计网络;模块三:上下文提取网络;模块四:插值核估计网络;模块五:深度感知的光流场映射;模块六:自适应插值映射;模块七:中间帧生成网络;本发明利用场景深度估计,提供了在视频帧率上变换中针对暴露遮蔽问题的解决办法;本发明还利用深度学习技术,提供了一种能够被端到端训练的神经网络系统,使得系统能够在大量的无标签的视频数据上进行训练优化。

    样点自适应补偿模式快速选择方法和系统、终端

    公开(公告)号:CN109462757A

    公开(公告)日:2019-03-12

    申请号:CN201811567266.9

    申请日:2018-12-19

    Abstract: 本发明提供了一种样点自适应补偿模式快速选择方法和系统,包括:获取空域相邻编码树单元的样点自适应补偿信息;获取当前编码树单元的编码模式信息;根据所述空域相邻编码树单元的样点自适应补偿信息、所述当前编码树单元的编码模式信息来判断当前编码树单元是否进行样点补偿。本发明采用空域相邻编码树单元的样点自适应补偿信息及当前编码树单元的编码模式信息来判断当前编码树单元是否进行样点补偿,对于x265编码器,本发明能够实现超高清视频序列实时编码,性能与原来非实时编码相比峰值信噪比下降0.04dB。

    一种基于媒体内容的FEC方法

    公开(公告)号:CN105827361B

    公开(公告)日:2019-02-22

    申请号:CN201510010097.9

    申请日:2015-01-08

    Abstract: 本发明提供了一种基于媒体内容的FEC机制,该机制将媒体内容进行分级,并赋予不同的重要性,再根据属于不同重要程度帧的包,结合信道状况和用户体验感受,改变编码方案,按照所属帧的重要程度进行保护。采用了本发明的技术方案,可以针对目前FEC系统中过度编码造成的数据拥塞,通过对媒体内容分级,赋予不同的重要性,利用信令和指示位控制,采用不同的FEC编码强度;实现最大限度保证媒体内容质量的同时,减少FEC造成的极大的数据量。

Patent Agency Ranking