公开(公告)号：CN120013976A

公开(公告)日：2025-05-16

申请号：CN202510075291.9

申请日：2025-01-17

Applicant: 南京大学

Inventor： 郭延文 ,  王泓深 ,  李元琪 ,  刘岩菘 ,  过洁

IPC: G06T7/13 ,  G06T7/11 ,  G06V10/44 ,  G06V10/762 ,  G06V10/80 ,  G06V10/82 ,  G06V20/64 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于面片分割的点云边缘重建方法，包括以下步骤：步骤1：使用点云边缘重建网络对三维点云进行面片分割和边界点检测和法线预测；步骤2：对于每一对属于不同面片且相邻的边界点对，生成由两个点所构造的局部面片相交的直线段；步骤3：将生成的直线段用于拟合点云边缘，包括直线、圆、B样条曲线三种曲线边缘；步骤4：利用分割面片，检测每个平面的角点，并结合先前拟合边的端点一起获取具有拓扑结构的初始猜测线框；步骤5：利用拟合边对初始猜测线框进行优化，获取最终的点云边缘结果。

公开(公告)号：CN119399346A

公开(公告)日：2025-02-07

申请号：CN202411537195.3

申请日：2024-10-31

Applicant: 南京大学

Inventor： 郭延文 ,  黄薇 ,  朱嘉琦 ,  白海洋 ,  过洁

IPC: G06T15/08 ,  G06N3/0499 ,  G06T7/70 ,  G06N3/0464 ,  G06N3/045 ,  G06T7/90

Abstract: 本发明提出了一种通用可控的基于空间感知的辐射场增强方法，包括：步骤1，获取训练数据；步骤2，根据训练数据生成光线与采样点；步骤3，构建神经辐射场混合模型；步骤4，将采样点的坐标和所述光线的方向输入步骤3中构建的所述神经辐射场混合模型中，计算每个采样点的体密度与颜色；步骤5，计算每条光线对应的像素的RGB颜色值；步骤6，根据每个采样点的体密度与颜色，以及每条光线对应的RGB颜色值，训练步骤3中构建的所述神经辐射场混合模型，得到训练好的神经辐射场混合模型；步骤7，使用训练好的神经辐射场混合模型，根据新视角的相机位姿，渲染该视角下的二维图片，完成通用可控的基于空间感知的辐射场增强。

公开(公告)号：CN118230090A

公开(公告)日：2024-06-21

申请号：CN202410323843.9

申请日：2024-03-21

Applicant: 南京大学

Inventor： 涂晴昊 ,  过洁 ,  郭延文 ,  许科恒

IPC: G06V10/774 ,  G06V10/82 ,  G06V10/46 ,  G06N3/08

Abstract: 本发明公开了一种基于扩散模型的文本生成材质贴图的优化方法及系统，本发明包括：获取无材质文本标注的第一图像数据集，并将编码生成数据与对应的图像一起作为样本，输入稳定扩散模型的U‑NET模型进行优化训练；获取含有材质文本标注的第二图像数据集，并将图像编码和加噪后的数据，以及图像的材质文本采用两种方式编码的文本嵌入数据作为样本，进行训练，将所述两种不同编码方式和训练好的Transformer解码器组合作为优化文本嵌入生成模块；将隐空间特征解码器进行扩充并训练，作为优化隐空间特征解码器；将优化后的各模块分别替换稳定扩散模型中对应模块，得到优化后的材质贴图生成模型；将待生成贴图的材质文本输入优化后的材质贴图生成模型，得到材质贴图。本发明泛化性更高。

公开(公告)号：CN116342789A

公开(公告)日：2023-06-27

申请号：CN202310267610.7

申请日：2023-03-20

Applicant: 南京大学

Inventor： 李泽儒 ,  过洁 ,  郭延文

IPC: G06T15/50 ,  G06N3/0985 ,  G06N3/048

Abstract: 本发明公开了一种基于元学习的层状材质渲染方法及装置，方法包括：(1)获取样本数据集，每一样本包括一层状材质参数、一入射光方向、一出射光方向和一作为标签的反射比；(2)构建反射比预测网络模型，所述反射比预测网络模型包括元网络、坐标变换模块和BSDF网络；(3)采用样本数据集对所述反射比预测网络模型进行训练；(4)将待渲染的层状材质参数输入训练好的元网络，得到自适应权重再提取训练好的BSDF网络中的共享权重共同组成权重ΘF；(5)渲染器读取权重ΘF，在渲染过程中根据入射光方向和出射光方向采用权重ΘF计算反射比，并基于反射比进行层状材质渲染。本发明支持材质编辑且性能开销小。

公开(公告)号：CN116228986A

公开(公告)日：2023-06-06

申请号：CN202310284200.3

申请日：2023-03-22

Applicant: 南京大学

Inventor： 何振 ,  白家杨 ,  杨珊 ,  张岩 ,  过洁 ,  陈振宇 ,  郭延文

IPC: G06T17/00 ,  G06T15/00 ,  G06T19/00 ,  G06T3/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于局部到全局补全策略的室内场景光照估计方法，该方法旨在从单张限制视角室内场景图片的任意位置估计出光照情况，并将室内场景光照估计问题分解为三个子任务：基于深度的图像变形、低动态范围(low dynamic range，LDR)全景图补全和高动态范围(high dynamic range，HDR)重建。基于第二个子任务，该方法提出一种从局部到全局的全景图补全策略，该策略首先对第一阶段变形后输出的稀疏的全景图进行深度引导的局部补全，以填补小而密集的空洞；之后通过立方体贴图投影法和一个能够拟合长距离依赖关系的transformer网络(称作PanoTransformer)进行合理的全局补全；最终能够在输入图片任意位置恢复出物理上合理且带有纹理细节的全景图，以捕捉空间变化的室内光照。

公开(公告)号：CN115222880A

公开(公告)日：2022-10-21

申请号：CN202210750179.7

申请日：2022-06-29

Applicant: 南京大学

Inventor： 顾馨兰 ,  过洁 ,  郭延文

IPC: G06T17/00 ,  G06F30/10 ,  G06F30/20 ,  A63F13/60

Abstract: 本发明公开了一种基于大气分层模型的三维云景程序化建模方法、装置和设备，方法包括：(1)将场景地形高度图作为地形环境模型，将大气层分为低、中、高三层；(2)根据风场计算大气层各区域的对流性，并将低、中、高三层大气层的对流性分别生成一张灰度纹理的对流分布图；(3)根据每层大气层的对流分布图判断其对应区域的云类型；(4)通过三维Perlin噪声和Worley噪声的不同叠加分别塑造不同体积云的三维类型纹理；(5)按照每层大气层各区域的云类型，在云景范围包围盒的对应区域填充对应类型云的三维类型纹理，并使用光线步进算法着色器对体积云进行渲染，在相机后处理步骤中绘制于屏幕上。本发明能够实时预览、兼具云景真实感和便捷性。

公开(公告)号：CN114708475A

公开(公告)日：2022-07-05

申请号：CN202210323717.4

申请日：2022-03-30

Applicant: 南京大学

Inventor： 郭延文 ,  赵志伟 ,  吴政亿 ,  任大勇

IPC: G06V10/80 ,  G06V10/26 ,  G06V10/774 ,  G06V10/56 ,  G06V10/82 ,  G06V10/764 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种用于3D场景理解的点云多模态特征融合网络方法，包括以下步骤：步骤1：收集现有的点云数据集，其中数据集包括S3DIS数据集和ModelNet40数据集，数据集中的数据包括含颜色信息的点云数据；步骤2：根据点云数据从前视图、后视图、顶视图、底视图、右侧视图、左侧视图生成其对应的多视图的点云投影图像和点频图像；步骤3：使用PointNet++提取点云的全局特征和部分局部特征；步骤4：使用VGG16分别提取不同的视图图像特征并聚合成一个全局特征；步骤5：将点云分支和图像分支的特征进行拼接合并；步骤6：将拼接后的特征通过两个1x1的卷积层融合点云特征和图像特征；步骤7：将步骤6得到的融合特征特征进行逐位加操作；步骤8：将图像特征和步骤7得到的特征进行拼接合并；步骤9：重复步骤6、7、8两次后得到最后的融合特征；步骤10：对于步骤9的输出的特征使用语义分割网络预测点云语义信息，使用标注信息进行监督训练；步骤11：对于步骤9的输出的特征使用分类预测点云类别信息，使用标注信息进行监督训练；步骤12：点云语义分割和类别的显示，本发明是一个精度更高且更加鲁棒的点云语义分割模型，可用于绝大多数的室内场景理解任务中。

公开(公告)号：CN114627350A

公开(公告)日：2022-06-14

申请号：CN202210310834.7

申请日：2022-03-28

Applicant: 南京大学

Inventor： 张锐 ,  郭延文

IPC: G06V10/774 ,  G06K9/62 ,  G06N20/20

Abstract: 本发明提供了一种极端尺度目标检测的正负样本选取方法，包括以下步骤：步骤1：按照目标真实值包围盒面积降序排列；步骤2：计算每个真实值包围盒与所有Anchor的Distance值；步骤3：计算负训练样本的Distance阈值；步骤4：设定超参数k的值；步骤5：分配所有目标的负训练样本；步骤6：分配所有目标的正训练样本；步骤7：对于不是正训练样本，也不是负训练样本的Anchor直接丢弃；步骤8：输出所有目标的各自正负训练样本，用于后续目标检测的训练。本发明可以为目标分配到更合适的训练样本，从而提高极端尺度目标的检测效果，进一步提高召回率。

公开(公告)号：CN111105350B

公开(公告)日：2022-03-15

申请号：CN201911165281.5

申请日：2019-11-25

Applicant: 南京大学

Inventor： 于霄 ,  郭延文 ,  胡锦鑫

IPC: G06T3/40 ,  G06T7/194 ,  G06T7/11

Abstract: 本发明提供了大视差场景下基于自身单应性变换的实时视频拼接方法，本发明非常适用于大视差场景下的视频拼接，因为视差会造成两路视频中前景和背景位移明显，该方法将前景和背景先分别拼接好，再前景和背景拼接结果融合，可以有效避免重影和错位，提升视频拼接效果；且如果待拼接视频当前帧只含背景时，背景通常是静止不动的，则可以提取出一个拼接模板。对于后续只含背景的帧，直接采用该模板拼接，压缩计算量加快拼接速度。

公开(公告)号：CN112927359A

公开(公告)日：2021-06-08

申请号：CN202110303157.1

申请日：2021-03-22

Applicant: 南京大学

Inventor： 周诚 ,  马常风 ,  郭延文 ,  过洁

IPC: G06T17/00 ,  G06T3/40 ,  G06N3/08 ,  G06N3/04 ,  G06K9/46

Abstract: 本发明公开了一种基于深度学习和体素的三维点云补全方法，包括以下步骤：步骤1：采集不同类别的原始物体模型；步骤2：对原始物体模型进行预处理，得到残缺点云和完整点云；步骤3：用经过预处理后的残缺点云和完整点云训练体素深度神经网络模型；步骤4：采集待补全的残缺点云并进行预处理；步骤5：根据步骤3得到的训练好的模型用步骤4得到的预处理后的点云作为输入进行点云补全。本方法融合了体素和点云结构的优点，通过使用不同类别的物体点云训练深度学习网络模型，再利用训练好的模型对残缺点云进行补全，得到具有细节的、均匀的、多分辨率的补全结果，解决了传统算法难以解决的问题。