用于多帧视频帧插值的系统和方法

    公开(公告)号:CN115210716A

    公开(公告)日:2022-10-18

    申请号:CN202180017962.6

    申请日:2021-01-23

    Abstract: 提供了用于多帧视频帧插值的系统和方法。高阶运动建模,如三阶运动建模,通过松弛初始光流估计中使用的损失函数所施加的约束,实现了多个插值帧之间的中间光流的预测。时间金字塔光流修正模块对用于生成中间帧的光流图进行粗到细修正,从而将成比例更多的修正注意力集中到高误差中间帧的光流图上。时间金字塔像素修正模块对生成的中间帧进行粗到细修正,从而将成比例更多的修正注意力集中到所述高误差中间帧上。生成式对抗网络(generative adversarial network,GAN)模块计算用于训练在光流估计模块、时间金字塔光流修正模块和/或时间金字塔像素修正模块中使用的神经网络的损失函数。

    用于视频分割的方法和系统

    公开(公告)号:CN114342353A

    公开(公告)日:2022-04-12

    申请号:CN202080062449.4

    申请日:2020-09-09

    Abstract: 描述了用于视频分割和场景识别的方法和系统。接收具有多个帧的视频以及与所述视频相关联的字幕文件。对所述视频执行分割,以基于所述视频的所述帧中特征的逐帧比较生成包括一个或多个视频帧的第一组视频帧。所述第一视频帧中的每个视频帧包括帧指示器,所述帧指示器至少指示视频帧的第一起始帧。解析与所述视频相关联的所述字幕文件,以基于所述字幕文件中的每个对话的起始时间和结束时间生成一个或多个字幕片段;基于所述第一组视频帧中的所述视频帧和所述一个或多个字幕片段,生成包括一个或多个第二视频帧的第二组视频帧。所述第二组视频片段包括至少一个合并视频片段,所述合并视频片段通过合并所述第一组视频片段中对应于公共字幕片段的两个或多个视频片段生成。

    模型训练方法及相关设备

    公开(公告)号:CN113807183A

    公开(公告)日:2021-12-17

    申请号:CN202110945460.1

    申请日:2021-08-17

    Abstract: 本申请提供了一种模型训练方法及相关设备。涉及人工智能领域,具体涉及计算机视觉领域。该方法包括:利用第二图像训练反事实特征生成器,利用特征提取器对第一图像进行特征提取以得到提取特征向量;利用反事实特征生成器对第一图像的真实标签和第一随机噪声向量进行处理得到训练对象的反事实特征向量;利用预测器对提取特征向量和反事实特征向量进行处理得到第一图像的预测标签;根据第一图像的真实标签、预测标签、提取特征向量和反事实特征向量调整神经网络模型的网络参数,以得到领域迁移后的神经网络模型。利用反事实特征向量干预源领域数据集的训练过程,使训练后的特征提取器更关注训练对象的内容特征,提升模型在跨领域场景下的泛化性能。

    用于基于手势控制设备的方法和系统

    公开(公告)号:CN115298638A

    公开(公告)日:2022-11-04

    申请号:CN202080098779.9

    申请日:2020-03-23

    Abstract: 本发明描述了用于基于手势控制设备的方法和系统。处理输入帧以确定所述输入帧中的显著的解剖学特征的位置。基于所述显著的解剖学特征的所述位置定义虚拟手势空间,所述虚拟手势空间是用于检测手势输入的定义的空间。仅在所述虚拟手势空间中处理所述输入帧,以检测和跟踪手。使用通过检测和跟踪至少一只手生成的信息,为所述至少一只手确定手势类别。所述设备可以是智能电视、智能手机、平板电脑等。

    用于使用内置注意力训练卷积神经网络的方法和系统

    公开(公告)号:CN114556370A

    公开(公告)日:2022-05-27

    申请号:CN202080073284.0

    申请日:2020-11-12

    Abstract: 描述了用于更新神经网络的卷积层的一组卷积核的权重的方法和系统。基于所述权重的特征,使用注意力机制来生成一组具有注意力注入权重的卷积核。例如,将一组基于位置的注意力乘数应用于所述一组卷积核中的权重,将基于大小的注意力函数应用于所述一组卷积核中的所述权重,或者两者兼有。使用所述具有注意力注入权重的一组卷积核来生成输出激活图。计算所述神经网络的损失,并反向传播梯度,以更新所述卷积核的所述注意力注入权重。

    用于采集高速高清视频的方法及设备

    公开(公告)号:CN112805996A

    公开(公告)日:2021-05-14

    申请号:CN201880098548.0

    申请日:2018-10-08

    Inventor: 吕炬炜 李维 唐进

    Abstract: 本发明描述了用于生成慢动作视频片段的方法和设备。第一视频帧集以第一分辨率和第一帧率呈现视频视图。第二视频帧集以第二分辨率和第二帧率呈现所述视频视图,其中,所述第二分辨率低于所述第一分辨率,且所述第二集合的至少一部分的所述第二帧率高于所述第一帧率。在所述第一集合中识别出至少两个高分辨率帧,以生成所述慢动作视频片段。在所述第二集合中识别与已识别的高分辨率帧之间的帧间时间段对应的一个或多个低分辨率帧。通过使用插值法基于已识别的高分辨率帧和已识别的低分辨率帧生成与所述帧间时间段对应的至少一个高分辨率帧来生成所述慢动作视频片段。

    用于视频分割的方法和系统

    公开(公告)号:CN114342353B

    公开(公告)日:2023-07-18

    申请号:CN202080062449.4

    申请日:2020-09-09

    Abstract: 描述了用于视频分割和场景识别的方法和系统。接收具有多个帧的视频以及与所述视频相关联的字幕文件。对所述视频执行分割,以基于所述视频的所述帧中特征的逐帧比较生成包括一个或多个视频帧的第一组视频帧。所述第一视频帧中的每个视频帧包括帧指示器,所述帧指示器至少指示视频帧的第一起始帧。解析与所述视频相关联的所述字幕文件,以基于所述字幕文件中的每个对话的起始时间和结束时间生成一个或多个字幕片段;基于所述第一组视频帧中的所述视频帧和所述一个或多个字幕片段,生成包括一个或多个第二视频帧的第二组视频帧。所述第二组视频片段包括至少一个合并视频片段,所述合并视频片段通过合并所述第一组视频片段中对应于公共字幕片段的两个或多个视频片段生成。

    一种用于生成慢动作视频片段的设备和方法

    公开(公告)号:CN112805996B

    公开(公告)日:2022-04-22

    申请号:CN201880098548.0

    申请日:2018-10-08

    Inventor: 吕炬炜 李维 唐进

    Abstract: 本发明描述了用于生成慢动作视频片段的方法和设备。第一视频帧集以第一分辨率和第一帧率呈现视频视图。第二视频帧集以第二分辨率和第二帧率呈现所述视频视图,其中,所述第二分辨率低于所述第一分辨率,且所述第二集合的至少一部分的所述第二帧率高于所述第一帧率。在所述第一集合中识别出至少两个高分辨率帧,以生成所述慢动作视频片段。在所述第二集合中识别与已识别的高分辨率帧之间的帧间时间段对应的一个或多个低分辨率帧。通过使用插值法基于已识别的高分辨率帧和已识别的低分辨率帧生成与所述帧间时间段对应的至少一个高分辨率帧来生成所述慢动作视频片段。

    用于视频的自适应动作识别器
    10.
    发明公开

    公开(公告)号:CN113853612A

    公开(公告)日:2021-12-28

    申请号:CN202080036179.X

    申请日:2020-05-15

    Abstract: 本申请提供一种用于视频的自适应动作识别器,所述自适应动作识别器对视频执行多尺度时空分解,以生成低复杂度视频。所述自适应动作识别器具有多个处理通路,每个视频复杂度等级对应一个处理通路,每个处理通路具有不同的计算成本。所述自适应动作识别器应用一种决策方案,所述决策方案支持在保持高精度的同时使用低平均计算成本。

Patent Agency Ranking