音乐驱动的三维舞蹈动画生成方法与系统

    公开(公告)号:CN116402924A

    公开(公告)日:2023-07-07

    申请号:CN202310217619.7

    申请日:2023-03-03

    Inventor: 李甲 郭鑫 赵沁平

    Abstract: 本公开的实施例公开了音乐驱动的三维舞蹈动画生成方法与系统。该方法的一具体实施方式包括:(1)音乐和舞蹈数据处理;(2)构建音乐和舞蹈的特征解耦器;(3)构建对比学习框架,用训练集训练对比学习网络;(4)基于测试音乐,衡量测试音乐与舞蹈数据的特征之间的距离,从而得到对应的候选舞蹈片段;(5)通过自适应平滑算法,连接两个相邻的舞蹈片段;(6)将得到的舞蹈动作数据导入到三维人物模型中合成舞蹈动画。该实施方式提升了生成的舞蹈的质量与多样性,并且更贴合音乐的内容。

    一种事件相机的数据模拟方法和装置

    公开(公告)号:CN113810611B

    公开(公告)日:2022-06-07

    申请号:CN202111092647.8

    申请日:2021-09-17

    Abstract: 本公开的实施例公开了事件相机的数据模拟方法和装置。该方法的一具体实施方式包括:对待处理视频进行解码处理,得到视频帧序列;将视频帧序列中的目标视频帧输入至全卷积网络UNet,得到事件相机阈值分布信息;对目标视频帧中的每个像素进行采样,得到事件相机阈值集合;对事件相机阈值集合和视频帧序列进行伪并行的事件数据仿真生成处理,得到仿真事件相机数据;将仿真事件相机数据,与事件相机拍摄数据进行生成对抗式学习,得到更新后的事件相机阈值分布信息;基于更新后的事件相机阈值分布信息、视频帧序列和预设噪声信号,生成仿真事件相机数据。本发明能够广泛应用于国防军事、影视制作、公共安全等领域的计算机视觉系统。

    图像语义标注的方法和装置

    公开(公告)号:CN108319985B

    公开(公告)日:2022-05-17

    申请号:CN201810124143.1

    申请日:2018-02-07

    Abstract: 本发明提供一种图像语义标注的方法和装置,该方法包括:对第一待标注图像进行似物性采样处理,得到多个区域以及每个区域的似物性采样特征;对第一待标注图像进行超像素分割,得到与多个区域对应的多个第一超像素块;根据第一待标注图像的强弱字典和每个区域的似物性采样特征,获取各区域为目标对象的概率值;根据每个区域对应的第一超像素块及每个区域属于目标对象的概率值,获取第一待标注图像中每个第一超像素块属于目标对象的概率值;根据每个第一超像素块属于目标对象的概率值以及第一语义标签,对第一超像素块进行语义标注。本发明实现了图像的像素级自动化语义标注,提高了图像语义标注的效率。

    图像显著性预测结果的评价方法和装置

    公开(公告)号:CN108665455B

    公开(公告)日:2022-04-26

    申请号:CN201810457947.3

    申请日:2018-05-14

    Abstract: 本申请提供一种图像显著性预测结果的评价方法和装置,该方法包括:获取已采集到的多种显著区域预测方法在多个图像集上的显著区域预测结果,对该预测结果进行预处理,并使用该预测结果进行主观测试实验,得到任意两种预测方法所产生的两张显著性预测结果图的主观相对显著关系,构建主观测试数据结果对,补充显著区域真值图和随机图数据对,再构建主观测试结果数据集,针对该主观测试结果数据集,构建一种基于相对显著关系的卷积神经网络模型,训练该卷积神经网络模型,从该模型中获得图像显著性预测结果的评价方法,在该评价方法中,将显著区域预测结果和真值图作为输入,实现了图像显著性预测结果的评价。

    一种事件相机的数据模拟方法和装置

    公开(公告)号:CN113810611A

    公开(公告)日:2021-12-17

    申请号:CN202111092647.8

    申请日:2021-09-17

    Abstract: 本公开的实施例公开了事件相机的数据模拟方法和装置。该方法的一具体实施方式包括:对待处理视频进行解码处理,得到视频帧序列;将视频帧序列中的目标视频帧输入至全卷积网络UNet,得到事件相机阈值分布信息;对目标视频帧中的每个像素进行采样,得到事件相机阈值集合;对事件相机阈值集合和视频帧序列进行伪并行的事件数据仿真生成处理,得到仿真事件相机数据;将仿真事件相机数据,与事件相机拍摄数据进行生成对抗式学习,得到更新后的事件相机阈值分布信息;基于更新后的事件相机阈值分布信息、视频帧序列和预设噪声信号,生成仿真事件相机数据。本发明能够广泛应用于国防军事、影视制作、公共安全等领域的计算机视觉系统。

    基于姿态关联的行人识别方法与装置、电子设备和介质

    公开(公告)号:CN113642515A

    公开(公告)日:2021-11-12

    申请号:CN202111007502.3

    申请日:2021-08-30

    Abstract: 本公开的实施例公开了基于姿态关联的行人识别方法与装置、电子设备和介质。该方法的一具体实施方式包括:获取行人图像和自身类别,将行人图像和自身类别输入预先训练的ResNet和预先训练的HR‑Net中,得到第一特征图和热度图;将热度图经过上采样扩大范围,融合为掩码图;将第一特征图和掩码图输入部件内部关联模块中,以生成第二特征图;对第二特征图进行横向和方块的划分,得到特征集合,对热度图进行关键点式的划分,得到关键点特征集合;将特征集合和关键点特征集合输入部件外部关联模块,得到全局特征和局部特征,根据全局特征和局部特征,得到图像表征和分类结果。该实施方式提高了行人识别的准确率。

    一种图像前景物体分割方法

    公开(公告)号:CN109741331B

    公开(公告)日:2021-10-26

    申请号:CN201811578893.2

    申请日:2018-12-24

    Abstract: 本发明涉及一种图像前景物体分割方法,针对图像前景物体不同区域的特征,构建基于边界关注的图像前景物体分割卷积神经网络,该网络首先利用特征提取骨干网络进行图像特征提取,然后利用边界定位子网络得到边界特征和选择性置信图,同时利用内部感知子网络得到内部特征及不变性置信图,利用过渡补充子网络得到前景物体边界和内部之间的过渡补充特征,三路子网络的输出通过边界关注的特征马赛克选择方式得到前景物体分割结果;接下来,对基于边界关注的图像前景物体分割卷积神经网络进行训练,将图像输入已训练的上述卷积神经网络中,实现图像前景物体分割。本发明能够有效将前景物体分割为一个整体,同时对边缘细节处理得很好,且处理图像速度快。

    图像前景物体分割方法及装置

    公开(公告)号:CN110176006B

    公开(公告)日:2021-08-27

    申请号:CN201910407975.9

    申请日:2019-05-15

    Abstract: 本发明实施例提供一种图像前景物体分割方法及装置,该方法包括:基于残差学习方法,构建错误纠正的图像前景物体分割卷积神经网络;获取损失函数,所述损失函数包括监督前景物体分割错误图的损失函数、提升的交叉熵损失函数和区域成对关系的结构相似性损失函数;基于所述损失函数,对所述错误纠正的图像前景物体分割卷积神经网络进行训练,得到已训练的图像前景物体分割卷积神经网络模型;将待分割图像输入所述已训练的图像前景物体分割卷积神经网络模型,得到图像前景物体分割结果。本发明实施例提供的方法及装置,从预测错误的角度出发,能够提升前景物体分割的精确度。

    图结构表征的高阶关联发现细粒度图像识别方法及装置

    公开(公告)号:CN113222041A

    公开(公告)日:2021-08-06

    申请号:CN202110567940.9

    申请日:2021-05-24

    Abstract: 本发明实施例提供一种图结构表征的高阶关联发现细粒度图像识别方法及装置,其中方法包括:将待分类图像输入具有多个阶段的卷积神经网络特征提取器,提取最后一个阶段的两层网络特征图,根据网络特征图,构建混合高阶注意力模块,并根据混合高阶注意力模块形成高阶特征向量池,将向量池中的每一个向量作为节点,并利用高阶特征间的语义相似性,分组形成代表性向量节点,对代表性向量节点进行全局池化,得到分类向量,并基于分类向量,通过全连接层和分类器得到细粒度分类结果,无需依赖额外的部件特征提取网络,实现对图像特征的快速准确提取,利用图像自身信息构建图像特征间的关联关系,得到细粒度特征的精细表征,提高图像的识别效果。

    一种基于音频生成视频的方法和装置

    公开(公告)号:CN111970536B

    公开(公告)日:2021-07-23

    申请号:CN202010728311.5

    申请日:2020-07-24

    Abstract: 本公开的实施例公开了一种基于音频生成视频方法和装置。该方法的一具体实施方式包括:获取舞蹈视频和音乐片段;确定音频的音频点,得到多个影像点;利用影像得到多个人体关键点集和影像片段;利用每个音频点和影像点确定训练集和舞蹈动作库;确定音频点的特征向量和影像片段的特征向量,得到训练后的特征提取器;利用训练后的特征提取器,提取音乐片段特征;确定音乐片段特征和人体关键点特征距离,得到影像片段并合成视频。该实施方式实现了根据音乐生成更生动流畅的舞蹈的方法,提高了用户体验,为用户的生活提供了便利。

Patent Agency Ranking