公开(公告)号：CN118736084A

公开(公告)日：2024-10-01

申请号：CN202410955235.X

申请日：2024-07-17

Applicant: 南京大学

Inventor： 李希才 ,  李佳家

IPC: G06T15/00 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请公开一种跨模态的三维光场渲染方法及三维渲染装置。技术方案对目标物体的双波段图像进行了前景后景的分割和融合，由于前景图像涵盖更多高频信息，而背景图像含有更多低频信息，所含信息的特征不同，那么将前后景图像进行分离和融合后能够显著提升融合图像的精度。此外，本申请采用了图像先融合后渲染的模式减少了可见光图像和红外图像坐标归一化引起的误差，因此在生成融合图像的伪数据时，得到的目标物体上每个特征点的探测信息，信息更加精确。在方法中加入了多维度的探测信息，那么可以根据红外图像的辐射强度随着温度的上升而减少，辐射强度与探测距离成比例的特点，使融合图像的伪数据有效贴合红外图像的特性。

公开(公告)号：CN118135085A

公开(公告)日：2024-06-04

申请号：CN202410282516.3

申请日：2024-03-12

Applicant: 南京大学

Inventor： 李希才 ,  黄一凡 ,  李佳家 ,  汪锐 ,  邓力鸣

IPC: G06T15/50 ,  G06T15/00 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08 ,  G06N3/084

Abstract: 本申请公开一种跨模态融合的三维渲染方法及三维渲染装置、存储介质，由于利用NeRF学习不同模态下三维场景的信息，相较于传统图像跨模态融合仅能融合一个场景中有限的二维图像信息，所公开的方案能够实现对目标场景进行跨模态融合的三维渲染，并且花费了更小存储代价实现了远超传统基于SFM进行点云匹配的跨模态三维重建方法的重建质量，并使用面向跨模态融合所设计的独特NeRF网络结构使其更准确地重建跨模态场景；同时，模型训练过程中对场景不同模态信息进行语义级匹配，并对不同模态的信息进行取舍，实现互补信息的融合。

公开(公告)号：CN118154754A

公开(公告)日：2024-06-07

申请号：CN202410239385.0

申请日：2024-03-01

Applicant: 南京大学

Inventor： 李希才 ,  黄一凡 ,  邓力鸣 ,  李佳家 ,  汪锐

IPC: G06T15/06

Abstract: 本申请公开一种热成像的三维渲染方法及三维渲染装置、存储介质，由于在三维渲染方法中改变了信息生成和查询的维度，相较于原始三维重建方法，能够更好地贴合了红外辐射强度随距离而递减的特性，因此渲染出的热红外图像可很好地体现目标物体的辐射强度信息，增强三维渲染效果；同时，三维渲染过程中能够采集到红外图像的关键信息，从而使渲染图像更好还原图像在红外范围内包含的信息，提高三维渲染精度。