基于单目相机的通用3D数字人实时动作捕捉方法及系统

    公开(公告)号:CN119417958A

    公开(公告)日:2025-02-11

    申请号:CN202411664583.8

    申请日:2024-11-20

    Abstract: 本发明提供了一种基于单目相机的通用3D数字人实时动作捕捉方法及系统,包括:步骤S1:基于单目相机检测3D关键点,并将关键点对齐到统一坐标系下,从视频中检测面部3D地标点,并输出blendshape用于驱动数字人面部;步骤S2:将关键点转换通用驱动数据,将全身骨骼3D关键点坐标转换为对应骨骼的BVH旋转;步骤S3:令低延时平滑数据驱动3D数字人,将面部blendshape参数以及骨骼BVH旋转传输至渲染平台;转换骨骼旋转坐标系到渲染平台的坐标系,驱动3D数字人动作;使用blendshape参数对应控制数字人Morph Target,驱动数字人面部表情。本发明通过对躯干、手部以及面部的ROI区域进行单独检测,提高关键点的检测精度;并且控制数据是一个整体,提高数字人控制的完整度。

    基于时空域修正的光流场估计和渲染方法及系统

    公开(公告)号:CN118261944A

    公开(公告)日:2024-06-28

    申请号:CN202410569671.3

    申请日:2024-05-09

    Abstract: 本发明提供了一种基于时空域修正的光流场估计和渲染方法及系统,包括:步骤S1:输入视频图像,逐次提取视频上下帧;步骤S2:使用光流估计网络获取视频上下帧的光流位移场;步骤S3:进行时间域采样计算,对每个像素在时域上的历史流速信息进行统计,通过计算历史时间上的流速和流向平均值得到当前帧的流速和流向;步骤S4:进入空间域修正算法步骤,获取图像上每一个像素的流速和流向信息;步骤S5:基于新型流速和流向渲染算法完成对光流场的实时渲染;逐帧提取视频图像,重复步骤S2至步骤S5,进行水流速和流向的实时渲染。本发明使得用户可以直观的感受监测区域的水流实况。

Patent Agency Ranking