一种基于时间相关性的头部动画生成方法及装置

    公开(公告)号:CN118172452B

    公开(公告)日:2024-08-27

    申请号:CN202410604983.3

    申请日:2024-05-15

    Abstract: 本发明涉及计算机视觉技术领域,公开了一种基于时间相关性的头部动画生成方法及装置,方法包括利用音频和视频片段提取特征向量并计算它们的时间相关性,建立对应的协方差矩阵训练头部动画生成模型,利用通道注意力机制单元对视频特征向量和音频协方差矩阵进行增强处理,得到特征增强网络输入已训练好的头部动画生成模型,生成头部动画。本发明通过构建音频协方差矩阵和视频协方差矩阵来细致地分析音视频之间的时间同步性,能够有效地捕捉并利用音频和视觉内容之间的时序关联,改善了音频驱动的头部动画生成,提供了更加流畅和真实的视觉表现,从而提高动画的真实性和自然度。

    一种基于时间相关性的头部动画生成方法及装置

    公开(公告)号:CN118172452A

    公开(公告)日:2024-06-11

    申请号:CN202410604983.3

    申请日:2024-05-15

    Abstract: 本发明涉及计算机视觉技术领域,公开了一种基于时间相关性的头部动画生成方法及装置,方法包括利用音频和视频片段提取特征向量并计算它们的时间相关性,建立对应的协方差矩阵训练头部动画生成模型,利用通道注意力机制单元对视频特征向量和音频协方差矩阵进行增强处理,得到特征增强网络输入已训练好的头部动画生成模型,生成头部动画。本发明通过构建音频协方差矩阵和视频协方差矩阵来细致地分析音视频之间的时间同步性,能够有效地捕捉并利用音频和视觉内容之间的时序关联,改善了音频驱动的头部动画生成,提供了更加流畅和真实的视觉表现,从而提高动画的真实性和自然度。

Patent Agency Ranking