基于隐式光流场的动态场景实时三维重建方法

    公开(公告)号:CN113689539B

    公开(公告)日:2024-04-19

    申请号:CN202110761086.X

    申请日:2021-07-06

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于隐式光流场的动态场景实时三维重建方法,其中,方法包括:对动态场景进行拍摄获得深度图像,并将深度图像转换为三维点云;使用预先训练的光流估计网络,计算得到相邻两帧图像之间的稠密光流;根据稠密光流和深度图像,反投影得到图像可见部分的三维场景流;根据图像可见部分的三维场景流和重建得到的三维模型,使用隐式光流估计网络预测三维模型表面上所有顶点的三维运动;构建能量函数,优化从标准模型到三维点云的非刚性变形参数;通过深度图像对标准模型进行更新和补全,得到更新后的三维模型。该方法基于隐式光流场的动态场景实时三维重建方法能够准确鲁棒地完成对动态场景的重建,具有实时的运算性能,适用性广。

    多智能体协同定位与建图方法及装置

    公开(公告)号:CN110490809A

    公开(公告)日:2019-11-22

    申请号:CN201910800208.4

    申请日:2019-08-28

    Applicant: 清华大学

    Abstract: 本发明公开了一种多智能体协同定位与建图方法及装置,其中,该方法包括:通过SLAM算法生成多个智能体所在场景的多个局部地图和多个轨迹节点信息;通过RPC协议将多个局部地图和多个轨迹节点信息发送至云端;根据多个局部地图和多个轨迹节点信息在云端构建全局地图约束;根据全局地图约束对多个局部地图进行融合并进行全局优化。该方法将多个异质异构智能体所具备的自主定位与建图能力进行融合与优化,将会极大拓展全自主智能体的应用场景,为多智能体在复杂大范围场景下的协同工作提供理论和技术基础。

    基于隐式光流场的动态场景实时三维重建方法与装置

    公开(公告)号:CN113689539A

    公开(公告)日:2021-11-23

    申请号:CN202110761086.X

    申请日:2021-07-06

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于隐式光流场的动态场景实时三维重建方法与装置,其中,方法包括:对动态场景进行拍摄获得深度图像,并将深度图像转换为三维点云;使用预先训练的光流估计网络,计算得到相邻两帧图像之间的稠密光流;根据稠密光流和深度图像,反投影得到图像可见部分的三维场景流;根据图像可见部分的三维场景流和重建得到的三维模型,使用隐式光流估计网络预测三维模型表面上所有顶点的三维运动;构建能量函数,优化从标准模型到三维点云的非刚性变形参数;通过深度图像对标准模型进行更新和补全,得到更新后的三维模型。该方法基于隐式光流场的动态场景实时三维重建方法能够准确鲁棒地完成对动态场景的重建,具有实时的运算性能,适用性广。

    多智能体协同三维建模方法及装置

    公开(公告)号:CN110580740A

    公开(公告)日:2019-12-17

    申请号:CN201910798522.3

    申请日:2019-08-27

    Applicant: 清华大学

    Abstract: 本发明公开了一种多智能体协同三维建模方法及装置,其中,该方法包括:通过SLAM算法生成多个智能体所在的局部环境的多个局部三维模型和多个轨迹节点信息;通过RPC协议将多个局部三维模型和多个轨迹节点信息发送至云端;根据多个局部三维模型和多个轨迹节点信息在云端构建全局约束;根据全局约束对多个局部三维模型进行融合生成全局三维模型。该方法利用多个异质异构智能体的自主定位与建图能力,构建全局约束融合多个局部三维模型,从而实现大范围场景的实时、分布式三维重建,将会极大拓展全自主智能体的应用场景,为多智能体在复杂大范围场景下的协同工作提供理论和技术基础。

    基于多视角视频的实时动态人体新视角渲染方法及系统

    公开(公告)号:CN117788672A

    公开(公告)日:2024-03-29

    申请号:CN202311767083.2

    申请日:2023-12-20

    Applicant: 清华大学

    Abstract: 本发明公开了基于多视角视频的实时动态人体新视角渲染方法及系统,该方法,基于多视角的人体图像信息估计人体的姿态参数;基于姿态参数构建人体的三维几何场和纹理特征场;基于隐式神经网络对拍摄视角图像进行体渲染得到拍摄视角渲染图像,并构建拍摄视角渲染图像与所述拍摄视角图像之间的一致性约束,以将三维几何场和纹理特征场作为优化的变量得到优化后的纹理特征场;基于优化后的纹理特征场和人体图像信息进行人体新视角渲染以得到新视角渲染图像。本发明可以实现对动态三维人体的、具有立体感的新视角渲染。

    基于图像块二值化哈希表示的实时的稠密光流计算方法

    公开(公告)号:CN111583295B

    公开(公告)日:2022-08-12

    申请号:CN202010348577.7

    申请日:2020-04-28

    Applicant: 清华大学

    Inventor: 徐枫 林文镔 杨东

    Abstract: 本发明公开了一种基于图像块二值化哈希表示的实时稠密光流计算方法,包括:输入两帧连续的图像,将其转换为灰度图;根据灰度图构建图像金字塔;通过编码函数处理图像金字塔,得到各个图像块的二值化哈希表示;在图像金字塔中的最小尺寸图像上随机初始化NNF映射;在最小图像尺寸上运行分块式PatchMatch算法,得到该层次的NNF映射;借助上层图像金字塔中计算得到的NNF映射,对当前层NNF映射进行初始化;在当前层运行PatchMatch算法,优化当前层NNF映射;循环执行前两个步骤至原始图像尺寸,得到最终光流估计。该方法提高了图像块特征提取和相似性计算的效率,在不失准确性的前提下,实现高实时性的稠密光流计算。

    基于图像块二值化哈希表示的实时的稠密光流计算方法

    公开(公告)号:CN111583295A

    公开(公告)日:2020-08-25

    申请号:CN202010348577.7

    申请日:2020-04-28

    Applicant: 清华大学

    Inventor: 徐枫 林文镔 杨东

    Abstract: 本发明公开了一种基于图像块二值化哈希表示的实时稠密光流计算方法,包括:输入两帧连续的图像,将其转换为灰度图;根据灰度图构建图像金字塔;通过编码函数处理图像金字塔,得到各个图像块的二值化哈希表示;在图像金字塔中的最小尺寸图像上随机初始化NNF映射;在最小图像尺寸上运行分块式PatchMatch算法,得到该层次的NNF映射;借助上层图像金字塔中计算得到的NNF映射,对当前层NNF映射进行初始化;在当前层运行PatchMatch算法,优化当前层NNF映射;循环执行前两个步骤至原始图像尺寸,得到最终光流估计。该方法提高了图像块特征提取和相似性计算的效率,在不失准确性的前提下,实现高实时性的稠密光流计算。

    多智能体协同定位与建图方法及装置

    公开(公告)号:CN110490809B

    公开(公告)日:2021-12-24

    申请号:CN201910800208.4

    申请日:2019-08-28

    Applicant: 清华大学

    Abstract: 本发明公开了一种多智能体协同定位与建图方法及装置,其中,该方法包括:通过SLAM算法生成多个智能体所在场景的多个局部地图和多个轨迹节点信息;通过RPC协议将多个局部地图和多个轨迹节点信息发送至云端;根据多个局部地图和多个轨迹节点信息在云端构建全局地图约束;根据全局地图约束对多个局部地图进行融合并进行全局优化。该方法将多个异质异构智能体所具备的自主定位与建图能力进行融合与优化,将会极大拓展全自主智能体的应用场景,为多智能体在复杂大范围场景下的协同工作提供理论和技术基础。

    多智能体协同三维建模方法及装置

    公开(公告)号:CN110580740B

    公开(公告)日:2021-08-20

    申请号:CN201910798522.3

    申请日:2019-08-27

    Applicant: 清华大学

    Abstract: 本发明公开了一种多智能体协同三维建模方法及装置,其中,该方法包括:通过SLAM算法生成多个智能体所在的局部环境的多个局部三维模型和多个轨迹节点信息;通过RPC协议将多个局部三维模型和多个轨迹节点信息发送至云端;根据多个局部三维模型和多个轨迹节点信息在云端构建全局约束;根据全局约束对多个局部三维模型进行融合生成全局三维模型。该方法利用多个异质异构智能体的自主定位与建图能力,构建全局约束融合多个局部三维模型,从而实现大范围场景的实时、分布式三维重建,将会极大拓展全自主智能体的应用场景,为多智能体在复杂大范围场景下的协同工作提供理论和技术基础。

    基于二值化特征编码匹配的动态场景实时三维重建方法

    公开(公告)号:CN112802186A

    公开(公告)日:2021-05-14

    申请号:CN202110112223.7

    申请日:2021-01-27

    Applicant: 清华大学

    Abstract: 本发明提出一种基于二值化特征编码匹配的动态场景实时三维重建方法,其中,方法包括:使用RGBD相机对动态场景进行拍摄,获得彩色深度图像序列,并将彩色深度图像序列中的单帧图像转换为三维点云;通过二值化特征编码匹配,获取三维点云和标准模型顶点之间的匹配点对,其中,标准模型的姿态参数根据彩色深度图像序列中的第一帧彩色深度图像确定;确定匹配点对对应的集合对应的能量函数,并根据能量函数构建更新从标准模型到三维点云的非刚性运动场参数;根据非刚性运动场参数更新标准模型得到目标模型。由此,能够有效的提高对动态场景的重建实时性、鲁棒性和准确性。

Patent Agency Ranking