公开(公告)号：CN115496862A

公开(公告)日：2022-12-20

申请号：CN202211300822.2

申请日：2022-10-24

Applicant: 复旦大学

Inventor： 宋梁 ,  王梓名 ,  张冠华 ,  庞成鑫 ,  倪伟 ,  余晗 ,  卢洋

IPC: G06T17/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于SPIN模型的实时三维重建方法和系统；该系统包括：图像接收模块：接收来自远程摄像模块的RGB图片；图像预处理模块：对RGB图片进行归一化和标准化处理；神经网络模块：使用预处理后的图片信息生成SMPL模型参数；结果后处理模块：对模型参数进行改写和封装，使其适合网络传输；结果传输模块：将后处理的人体模型参数传输给VR客户端。本发明通过引入堆叠沙漏模型并使用重投影损失和人体着装差异化损失，有效地提升了不同人体体型的重建效果。同时本发明对模型进行轻量化改造，通过仔细设计数据格式使得模型在网络环境满足实时性要求。

公开(公告)号：CN115797555A

公开(公告)日：2023-03-14

申请号：CN202211465514.5

申请日：2022-11-22

Applicant: 复旦大学

Inventor： 宋梁 ,  卢洋 ,  倪伟 ,  张冠华 ,  蒋林华 ,  余晗 ,  王梓名

IPC: G06T17/00 ,  G06T15/04 ,  G06T5/00 ,  G06N3/08 ,  G06N3/0455

Abstract: 本发明公开了一种基于深度相机的人体实时三维重建方法。本发明使用SMPL‑X作为参数化的人体模型，通过训练神经网络从输入数据中控制该模型的变形，实现实时重建效果。首先，利用深度相机输出深度数据丰富神经网络的上下文信息，避免使用RGB数据间接计算深度特征，使网络更加轻量化；其次，利用人体姿态估计结果从输入数据中裁剪得到局部数据，通过学习局部细节特征提升人体模型手部和脸部的精度；接着，利用去噪自编码器对人体模型参数进行压缩和降噪，最后，给出基于深度相机和参数化人体模型的贴图方案。综上，本发明方法是一种轻量化且高性能的重建方法，能够快速重建出高精度的人体三维模型，可应用于虚拟现实、元宇宙等场景。