公开(公告)号：CN119399346A

公开(公告)日：2025-02-07

申请号：CN202411537195.3

申请日：2024-10-31

Applicant: 南京大学

Inventor： 郭延文 ,  黄薇 ,  朱嘉琦 ,  白海洋 ,  过洁

IPC: G06T15/08 ,  G06N3/0499 ,  G06T7/70 ,  G06N3/0464 ,  G06N3/045 ,  G06T7/90

Abstract: 本发明提出了一种通用可控的基于空间感知的辐射场增强方法，包括：步骤1，获取训练数据；步骤2，根据训练数据生成光线与采样点；步骤3，构建神经辐射场混合模型；步骤4，将采样点的坐标和所述光线的方向输入步骤3中构建的所述神经辐射场混合模型中，计算每个采样点的体密度与颜色；步骤5，计算每条光线对应的像素的RGB颜色值；步骤6，根据每个采样点的体密度与颜色，以及每条光线对应的RGB颜色值，训练步骤3中构建的所述神经辐射场混合模型，得到训练好的神经辐射场混合模型；步骤7，使用训练好的神经辐射场混合模型，根据新视角的相机位姿，渲染该视角下的二维图片，完成通用可控的基于空间感知的辐射场增强。

公开(公告)号：CN116524307A

公开(公告)日：2023-08-01

申请号：CN202310350662.0

申请日：2023-04-04

Applicant: 南京大学

Inventor： 陈力军 ,  刘佳 ,  王旭东 ,  吕欢欢 ,  白海洋

IPC: G06V10/778 ,  G06V10/82 ,  G06V10/774 ,  G06V10/42 ,  G06V10/26 ,  G06V20/70 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明提供了一种基于扩散模型的自监督预训练方法，包括以下步骤：步骤1，在预训练的数据集上基于噪声预测的方式训练扩散模型，并将其作为教师网络；步骤2，将步骤1中训练完的扩散模型中U‑Net网络中的上采样部分的特征图提取出来，并进行拼接；步骤3，将学生网络输出的特征图与步骤2中提取的特征图进行对齐，从而对学生网络进行训练；步骤4，通过步骤3训练完的学生网络得到图像的全局特征图。本发明方法对图像中不同区域的语义相关性进行了显式地建模，并且添加了对图像的全局特征的正则化约束，从而大幅提升了通过本发明方法预训练得到的模型在图像分类、目标检测和语义分割等下游任务的性能。