-
公开(公告)号：CN115423927A
公开(公告)日：2022-12-02
申请号：CN202210882614.1
申请日：2022-07-26
Applicant: 复旦大学
Abstract: 本发明涉及一种基于ViT的多视角3D重建方法及系统，该方法包括：S1、获取指定场景多视角2D图片以及对应的相机参数；S2、选取参考图片以及源图片；构建融合ViT与特征金字塔网络FPN的特征抽取模型，进行特征抽取；S3、构建代价矩阵，并基于分类损失分层级优化不同层级的代价矩阵预测的深度图；S4、采用动态多尺度策略对构建的多视角重建MVS模型进行训练；S5、从测试集中选取参考图片及对应的源图片，采用预训练好的多视角重建MVS模型，对深度图进行预测，并采用深度融合算法对预测得到的多视角深度图进行深度融合和点云重建。与现有技术相比，本发明通过引入预训练的ViT，提升了MVS中特征抽取的鲁棒性，提高了最终3D重建的效果。
-
公开(公告)号：CN113112607B
公开(公告)日：2022-09-06
申请号：CN202110416920.1
申请日：2021-04-19
Applicant: 复旦大学
Abstract: 本发明提供了一种生成任意帧率的三维网格模型序列的方法及装置，属于三维计算机视觉领域，用于对稀疏的三维点云序列进行处理，得到该序列当中任意时刻所对应的三维网格模型，包括如下步骤：步骤S1，对预先获取的包括多个三维模型的三维模型数据集进行预处理得到训练样本；步骤S2，搭建三个三维点云特征提取网络；步骤S3，随机决定是否交换成对的三维点云序列的身份编码；步骤S4，搭建神经常微分方程网络；步骤S5，搭建深度解码网络；步骤S6，构建损失函数；步骤S7，基于损失函数对三维模型生成模型进行训练，步骤S8，将单个三维点云序列以及查询时刻T＝t输入训练完成的三维模型生成模型。
-
公开(公告)号：CN113096234B
公开(公告)日：2022-09-06
申请号：CN201911335173.8
申请日：2019-12-23
Applicant: 复旦大学
Abstract: 本发明提供一种利用多张彩色图片生成三维网格模型的方法，用于基于形变推断对少量不同视角的彩色图片以及对应的相机参数进行处理从而生成相应的三维网格模型，其特征在于，包括如下步骤：步骤S1，对预先获取的三维模型数据集进行预处理从而得到训练样本；步骤S2，生成初始网格模板；步骤S3，构建用于提取所述二维图像的几何特征以及语义特征的图像特征提取网络；步骤S4，构建图卷积神经网络；步骤S5，构建损失函数；步骤S6，基于所述损失函数对由所述图像特征提取网络以及所述图卷积神经网络组成的三维模型生成模型进行训练；步骤S7，将多张所述彩色图片与对应的所述相机参数输入所述三维模型生成模型从而生成所述三维网格模型。
-
公开(公告)号：CN114463737A
公开(公告)日：2022-05-10
申请号：CN202210107083.9
申请日：2022-01-28
Applicant: 复旦大学
IPC: G06V20/64 , G06V10/26 , G06V10/44 , G06V10/764 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于3D建模中隐式表示的3D目标检测方法和系统，方法包括采集点云数据并进行预处理，得到预处理点云数据；根据得到的预处理点云数据，在点云维度和体素维度上分别提取出对应的特征，并将这两种特征结合并转换为鸟瞰图特征；对鸟瞰特征图上的每个像素点进行坐标和特征偏移，筛选并采样出最大概率的候选中心点；使用隐式函数对以候选中心点为单位的周围局部三维空间内包含的所有点赋值，并根据赋予的结果生成目标边界框；通过将生成的目标边界框内的特征进行结合对边界框进行优化。与现有技术相比，本发明具有速度快、精确度高、鲁棒性好等优点，适用于三维场景下的目标检测和分割等应用。
-
公开(公告)号：CN114399436A
公开(公告)日：2022-04-26
申请号：CN202111598280.7
申请日：2021-12-24
Applicant: 复旦大学
Abstract: 本发明涉及一种基于线框和边缘结构的增量式图像修复方法，包括：获取场景数据图片；构建适应于下游任务的遮掩图层来进行模型训练；构建结构恢复模型并对其进行训练；构建线框结构上采样网络并对其进行训练；若遮掩图像的分辨率大于256×256，利用结构上采样网络将256×256的修复线框和边缘结构上采样到和遮掩图像同分辨率；将修复的线框和边缘信息输入结构特征编码器获取结构特征；根据遮掩图层获取遮掩位置编码；构建图像修复网络并对其进行训练；模型训练结束后，进行图像修复。与现有技术相比，本发明具有图像修复效果好、适应性强等优点。
-
Patent Agency Ranking
公开(公告)号：CN113706670A
公开(公告)日：2021-11-26
申请号：CN202110941707.2
申请日：2021-08-17
Applicant: 复旦大学
Abstract: 本发明提供一种生成动态三维人体网格模型序列的方法及装置，用于对三维点云序列进行处理，得到该序列中每一帧点云对应的带有衣服和头发的三维人体网格模型，其特征在于，包括以下步骤：骤S1，对预先获取的包括多个三维人体模型序列的数据集进行预处理得到训练样本；步骤S2，构建三维点云编码器；步骤S3，通过PCA得到预训练的线性层；步骤S4，构建姿态优化网络；步骤S5，构建深度解码网络；步骤S6，构建人体细节重建网络；步骤S7，构建损失函数；步骤S8，基于损失函数对三维模型生成模型进行训练，步骤S9，将单个三维点云序列输入训练完成的三维模型生成模型得到所有时刻对应的带有衣服和头发的人体网格模型序列并输出。
-
公开(公告)号：CN113139910A
公开(公告)日：2021-07-20
申请号：CN202010066844.1
申请日：2020-01-20
Applicant: 复旦大学
Abstract: 本发明提供一种视频补全方法，其特征在于，通过重建三维场景对存在内容缺失的缺失视频序列进行补全，包括如下步骤：步骤1，通过预设的深度图网络识别缺失视频序列中每帧的深度图；步骤2，通过预设的位姿网络识别缺失视频序列中每相邻两帧之间的相对相机位姿；步骤3，基于深度图以及相对相机位姿并使用截断符号距离函数进行深度图的融合从而构建对应缺失视频序列中的视频背景的三维场景；步骤4，利用相对相机位姿以及相机内参将三维场景投影到缺失视频序列中从而对每帧的缺损区域进行补全得到补全视频序列；步骤5，利用预设的缺失补全网络对补全视频序列进行二次补全从而形成不具有内容缺失的完整视频序列。
-
公开(公告)号：CN113112607A
公开(公告)日：2021-07-13
申请号：CN202110416920.1
申请日：2021-04-19
Applicant: 复旦大学
Abstract: 本发明提供了一种生成任意帧率的三维网格模型序列的方法及装置，属于三维计算机视觉领域，用于对稀疏的三维点云序列进行处理，得到该序列当中任意时刻所对应的三维网格模型，包括如下步骤：步骤S1，对预先获取的包括多个三维模型的三维模型数据集进行预处理得到训练样本；步骤S2，搭建三个三维点云特征提取网络；步骤S3，随机决定是否交换成对的三维点云序列的身份编码；步骤S4，搭建神经常微分方程网络；步骤S5，搭建深度解码网络；步骤S6，构建损失函数；步骤S7，基于损失函数对三维模型生成模型进行训练，步骤S8，将单个三维点云序列以及查询时刻T＝t输入训练完成的三维模型生成模型。
-
公开(公告)号：CN113012122A
公开(公告)日：2021-06-22
申请号：CN202110266160.0
申请日：2021-03-11
Applicant: 复旦大学
Abstract: 本发明提供了一种类别级6D位姿与尺寸估计方法及装置，基于图像中目标物体的深度观测数据以及拍摄该图像的相机内参进行6D位姿与尺寸估计，其特征在于，包括如下步骤：基于相机内参将深度观测数据重投影到三维空间并归一化，得到目标物体的部分观测点云数据；根据目标物体从模板点云数据库中选出与目标类型相同的规范化模板点云数据；基于部分观测点云数据以及规范化模板点云数据利用几何特征学习网络对目标物体的6D位姿及尺寸进行估计，得到对应的预测位姿与预测尺寸。本发明的类别级6D位姿与尺寸估计方法及装置，可以准确估计出类别已知但未见过实例物体的6D位姿和尺寸，具有较高的准确性、泛化能力以及实用性。
-
公开(公告)号：CN112686083A
公开(公告)日：2021-04-20
申请号：CN201910991629.X
申请日：2019-10-18
Applicant: 复旦大学
Abstract: 本发明提供一种基于组合对抗生成网络的人脸微表情深度学习识别系统，对用于进行人脸微表情识别的模型进行训练从而完成对待识别图像的人脸微表情识别，其特征在于，包括：模型存储部，存储有预先训练完成的用于进行微表情识别、姿态分类以及人脸识别的多功能识别网络以及基于组合对抗生成网络的微表情人脸图像生成网络；待识别图像获取部，用于获取待识别图像；特征提取部，将待识别图像输入多功能识别网络从而得到对应身份、姿态、微表情的特征信息；以及微表情识别部，根据特征信息完成人脸微表情识别。
-
-
-
-
-
-
-
-
-
Search Results
97
records
(took 0.025 seconds)
