-
公开(公告)号:CN113496521B
公开(公告)日:2022-10-18
申请号:CN202010267560.9
申请日:2020-04-08
Applicant: 复旦大学
Abstract: 本发明提供一种利用多张彩色图片生成深度图像与相机外参的方法及装置,用于对多张不同视角的待处理二维彩色图片进行处理从而生成与各个视角相应的深度值图像结果与相机外部参数结果,其特征在于,包括如下步骤:步骤S1,对预先获取的三维场景数据集进行预处理从而得到训练数据;步骤S2,生成初始深度值图像和初始相机外部参数估计;步骤S3,构建图像特征提取网络;步骤S4,构建三维卷积神经网络;步骤S5,构建损失函数;步骤S6,基于损失函数对由图像特征提取网络以及三维卷积神经网络组成的场景三维信息生成模型进行训练;步骤S7,将多张待处理二维彩色图片与对应的相机内部参数输入场景三维信息生成模型从而生成深度值图像与相机外部参数。
-
公开(公告)号:CN114445584A
公开(公告)日:2022-05-06
申请号:CN202011218797.4
申请日:2020-11-04
Applicant: 复旦大学
Abstract: 本发明提供了一种基于彩色点云生成带纹理三维网格模型的方法,其特征在于,包括如下步骤:步骤S1,利用预处理算法对彩色三维点云数据处理;步骤S2,输入三维几何先验深度网络优化;步骤S3,利用三维网格模型展开算法处理得到UV映射关系;步骤S4,基于UV映射关系投影得到稀疏点云坐标二维图像以及稀疏点云色彩二维图像;步骤S5,输入二维几何先验深度网络优化;步骤S6,输入二维纹理先验深度网络得到初代三维网格模型的纹理;步骤S7,将步骤S5的输出输入三维几何先验深度网络中优化;步骤S8,判断是否达到三维网格迭代次数,判断为否时重复步骤S3至步骤S8,判断为是时进入步骤S9;步骤S9,结合当前三维网格模型与纹理得到带纹理三维网格模型。
-
公开(公告)号:CN113870431B
公开(公告)日:2025-02-21
申请号:CN202010630438.3
申请日:2020-06-30
Applicant: 复旦大学
IPC: G06T17/20 , G06T9/00 , G06N3/0464 , G06N3/084
Abstract: 本发明提供一种三维模型动作迁移方法,其特征在于,步骤S1,根据预先获取的三维模型数据生成动作网络模型、体态网络模型以及迁移为新动作的动作体态模型作为真实值用于训练动作迁移神经网络;步骤S2,构建特征编码网络作为动作特征提取器提取动作三维网格模型的动作特征;步骤S3,构建特征迁移网络作为解码器基于提取的动作特征对体态三维网格模型进行迁移操作,从而获得形变后的动作体态模型;步骤S4,构建一个端到端的动作迁移神经网络的框架;步骤S5,构建损失函数;步骤S6,基于损失函数训练动作迁移神经网络,其中,动作迁移神经网络包括动作特征编码网络以及基于空间适应性实例标准化方法的特征迁移神经网络。
-
公开(公告)号:CN113870431A
公开(公告)日:2021-12-31
申请号:CN202010630438.3
申请日:2020-06-30
Applicant: 复旦大学
Abstract: 本发明提供一种三维模型动作迁移方法,其特征在于,步骤S1,根据预先获取的三维模型数据生成动作网络模型、体态网络模型以及迁移为新动作的动作体态模型作为真实值用于训练动作迁移神经网络;步骤S2,构建特征编码网络作为动作特征提取器提取动作三维网格模型的动作特征;步骤S3,构建特征迁移网络作为解码器基于提取的动作特征对体态三维网格模型进行迁移操作,从而获得形变后的动作体态模型;步骤S4,构建一个端到端的动作迁移神经网络的框架;步骤S5,构建损失函数;步骤S6,基于损失函数训练动作迁移神经网络,其中,动作迁移神经网络包括动作特征编码网络以及基于空间适应性实例标准化方法的特征迁移神经网络。
-
公开(公告)号:CN109147048A
公开(公告)日:2019-01-04
申请号:CN201810809452.2
申请日:2018-07-23
Applicant: 复旦大学
IPC: G06T17/20
Abstract: 本发明属于三维视觉技术领域,具体为一种利用单张彩色图重建物体三维网格模型的方法。本发明方法包括,对于图像,设计一个多层的全卷积特征网络,用于提取图片不同层次的特征;对于三维网格,设置一个初始椭球,用图神经网络表示,利用图片特征不断对椭球进行形变,以逼近真实形状;同时,设计投影层连接图像端和三维网格端,在此框架下训练一个端到端的神经网络,即给定一张彩色图,输出对应的三维网格模型。该方法具有三维建模结果光滑、完整并且细节丰富的优点,重建精度也得到了有效的提升,非常适合于在虚拟现实、动画游戏、生产制造等产业中的实际应用。
-
公开(公告)号:CN114286103B
公开(公告)日:2024-12-03
申请号:CN202111597535.8
申请日:2021-12-24
Applicant: 复旦大学
IPC: H04N19/189 , H04N19/91 , H04N19/597
Abstract: 本发明提供一种基于深度学习的保留密度的点云压缩方法,用于在点云压缩过程中保留原始点云的密度从而生成高质量的重建点云,其特征在于,包括如下步骤:步骤S1,对预先获取的点云数据进行预处理从而得到训练样本;步骤S2,构建用于提取点云数据的几何信息与密度信息的编码器,并基于编码器获取点云特征;步骤S3,采用熵编码器对点云特征进行压缩;步骤S4,构建用于对点云特征进行上采样的解码器;步骤S5,构建损失函数;步骤S6,基于训练样本对由编码器、熵编码器以及解码器组成的点云压缩模型采用损失函数进行训练;步骤S7,将点云数据输入至训练好的点云压缩模型从而实现保留原始点云密度的点云压缩。
-
公开(公告)号:CN114445584B
公开(公告)日:2025-05-13
申请号:CN202011218797.4
申请日:2020-11-04
Applicant: 复旦大学
IPC: G06T17/20 , G06T3/04 , G06T15/04 , G06N3/042 , G06N3/0455 , G06N3/0464
Abstract: 本发明提供了一种基于彩色点云生成带纹理三维网格模型的方法,其特征在于,包括如下步骤:步骤S1,利用预处理算法对彩色三维点云数据处理;步骤S2,输入三维几何先验深度网络优化;步骤S3,利用三维网格模型展开算法处理得到UV映射关系;步骤S4,基于UV映射关系投影得到稀疏点云坐标二维图像以及稀疏点云色彩二维图像;步骤S5,输入二维几何先验深度网络优化;步骤S6,输入二维纹理先验深度网络得到初代三维网格模型的纹理;步骤S7,将步骤S5的输出输入三维几何先验深度网络中优化;步骤S8,判断是否达到三维网格迭代次数,判断为否时重复步骤S3至步骤S8,判断为是时进入步骤S9;步骤S9,结合当前三维网格模型与纹理得到带纹理三维网格模型。
-
公开(公告)号:CN113706670B
公开(公告)日:2023-12-08
申请号:CN202110941707.2
申请日:2021-08-17
Applicant: 复旦大学
Abstract: 本发明提供一种生成动态三维人体网格模型序列的方法及装置,用于对三维点云序列进行处理,得到该序列中每一帧点云对应的带有衣服和头发的三维人体网格模型,其特征在于,包括以下步骤:骤S1,对预先获取的包括多个三维人体模型序列的数据集进行预处理得到训练样本;步骤S2,构建三维点云编码器;步骤S3,通过PCA得到预训练的线性层;步骤S4,构建姿态优化网络;步骤S5,构建深度解码网络;步骤S6,构建人体细节重建网络;步骤S7,构建损失函数;步骤S8,基于损失函数对三维模型生成模型进行训练,步骤S9,将单个三维点云序列输入训练完成的三维模型生成模型得到所有时刻对应的带有衣服和头发的人体网格模型序列并输出。
-
公开(公告)号:CN113112607B
公开(公告)日:2022-09-06
申请号:CN202110416920.1
申请日:2021-04-19
Applicant: 复旦大学
Abstract: 本发明提供了一种生成任意帧率的三维网格模型序列的方法及装置,属于三维计算机视觉领域,用于对稀疏的三维点云序列进行处理,得到该序列当中任意时刻所对应的三维网格模型,包括如下步骤:步骤S1,对预先获取的包括多个三维模型的三维模型数据集进行预处理得到训练样本;步骤S2,搭建三个三维点云特征提取网络;步骤S3,随机决定是否交换成对的三维点云序列的身份编码;步骤S4,搭建神经常微分方程网络;步骤S5,搭建深度解码网络;步骤S6,构建损失函数;步骤S7,基于损失函数对三维模型生成模型进行训练,步骤S8,将单个三维点云序列以及查询时刻T=t输入训练完成的三维模型生成模型。
-
公开(公告)号:CN113096234B
公开(公告)日:2022-09-06
申请号:CN201911335173.8
申请日:2019-12-23
Applicant: 复旦大学
Abstract: 本发明提供一种利用多张彩色图片生成三维网格模型的方法,用于基于形变推断对少量不同视角的彩色图片以及对应的相机参数进行处理从而生成相应的三维网格模型,其特征在于,包括如下步骤:步骤S1,对预先获取的三维模型数据集进行预处理从而得到训练样本;步骤S2,生成初始网格模板;步骤S3,构建用于提取所述二维图像的几何特征以及语义特征的图像特征提取网络;步骤S4,构建图卷积神经网络;步骤S5,构建损失函数;步骤S6,基于所述损失函数对由所述图像特征提取网络以及所述图卷积神经网络组成的三维模型生成模型进行训练;步骤S7,将多张所述彩色图片与对应的所述相机参数输入所述三维模型生成模型从而生成所述三维网格模型。
-
-
-
-
-
-
-
-
-