RGB-D图像的多尺度融合深度图像增强方法及装置

    公开(公告)号:CN113033645B

    公开(公告)日:2024-12-13

    申请号:CN202110290784.6

    申请日:2021-03-18

    Applicant: 南京大学

    Abstract: 本发明公开了一种RGB‑D图像的多尺度融合深度图像增强方法及装置。本发明包括:(1)通过双分支逐步融合的方案,使RGB图像和深度图像输入可以在深度预测中相互补充,用深度确保图像大体结构完整,用彩色填充缺失像素值;(2)通过分析真实数据的噪声分布,设计了一种混合多尺度损失函数,保证即使在真实图像数据有噪声的情况下,高质量的清晰图像仍旧可以生成。本发明能够合理利用RGB图像和深度图像各自的特征,确保彩色图像所得到的特征信息对深度图像的修复起到辅助作用,最终预测完整的深度图像,显著提高了深度图像的质量。

    一种带纹理的细节语义人体模型重建方法

    公开(公告)号:CN118115668A

    公开(公告)日:2024-05-31

    申请号:CN202410233941.3

    申请日:2024-03-01

    Applicant: 南京大学

    Abstract: 本发明提供了一种带纹理的细节语义人体模型重建方法,包括:步骤1,根据输入数据,初步构建细节人体网格和相应的人体语义模型;步骤2,对步骤1中初步构建的细节人体网格,使用基于法向和语义的采样方法,获得部分细节语义网格;步骤3,在UV空间中对步骤2中获得的部分细节语义网格中的空洞进行修补,得到修补后的完整细节语义网格;步骤4,使用步骤1中输入图像和该图像对应的法向图对修补后的完整细节语义网格进行细节增强;步骤5,使用条件纹理扩散模型进行纹理修复和生成,完成带纹理的细节语义人体模型重建。

    一种基于深度学习和体素的三维点云补全方法

    公开(公告)号:CN112927359B

    公开(公告)日:2024-01-30

    申请号:CN202110303157.1

    申请日:2021-03-22

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于深度学习和体素的三维点云补全方法,包括以下步骤:步骤1:采集不同类别的原始物体模型;步骤2:对原始物体模型进行预处理,得到残缺点云和完整点云;步骤3:用经过预处理后的残缺点云和完整点云训练体素深度神经网络模型;步骤4:采集待补全的残缺点云并进行预处理;步骤5:根据步骤3得到的训练好的模型用步骤4得到的预处理后的点云作为输入进行点云补全。本方法融合了体素和点云结构的优点,通过使用不同类别的物体点云训练深度学习网络模型,再利用训练好的模型对残缺点云进行补全,得到具有细节的、均匀的、多分辨率的补全结果,解决了传统算法难以解决的问题。

    基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法

    公开(公告)号:CN108986060B

    公开(公告)日:2021-09-28

    申请号:CN201810658877.8

    申请日:2018-06-25

    Applicant: 南京大学

    Inventor: 过洁 李春游

    Abstract: 本发明公开了一种基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法,包括;(1)获取在不同角度对于同一场景拍摄得到的多个图像;(2)利用siftflow算法将多个图像对齐;(3)将参考图像P0划分为多个相同大小的patch;(4)对于每个patch,执行如下步骤:A、获取当前patch以及其他图像中与其相似的patch的RGB值形成的列向量,将所述列向量组成RGB矩阵;B、获取当前patch以及其他图像中与其相似的patch中每个像素的最小梯度值所形成的列向量,将所述列向量作为每列的列向量组成最小梯度矩阵;C、根据最小梯度矩阵和RGB矩阵进行稀疏矩阵与低秩矩阵分解;(5)将所有patch对应的低秩矩阵重组,得到抑制反射光后的图像。本发明图像处理效果更好。

    一种使用场景特征约束的梯度域渲染图像重构方法

    公开(公告)号:CN109934902B

    公开(公告)日:2020-08-11

    申请号:CN201910188251.X

    申请日:2019-03-13

    Applicant: 南京大学

    Abstract: 本发明公开了一种使用场景特征约束的梯度域渲染图像重构方法,包括:(1)采用梯度域渲染算法将待重构三维场景图像进行渲染,得到高噪声图像及梯度场;(2)从待重构三维场景图像中提取出场景特征;(3)以场景特征作为约束条件,求解目标优化函数,得到重构图像I*。本发明能够合理利用场景特征,指导重构过程,为梯度域渲染提供一种有效的后处理方法,使重构后图像噪声降到人类视觉可接受程度。

    一种多媒体播放设置自动调节方法及系统

    公开(公告)号:CN111027675A

    公开(公告)日:2020-04-17

    申请号:CN201911152466.2

    申请日:2019-11-22

    Applicant: 南京大学

    Abstract: 本发明公开了一种多媒体播放设置自动调节方法及系统,方法包括:当按照预设时间间隔或用户操作录制外界环境音频信息,并发送至服务器端;服务器端从接收到的外界环境音频信息中分别提取左声道和右声道的梅尔倒谱系数和恒定Q色度图两种特征,并将两种特征结合后作为各声道的音频特征;服务器端将音频特征输入训练好的深度神经网络中,得到外界环境音频信息对应的环境预测分类标签,并发送至多媒体端;多媒体端判断接收到的环境预测分类标签是否与当前环境分类一致,若不一致,则从预设的设置表中查找与所述环境分类标签对应的推荐播放设置,并按照查找到的推荐播放设置更新多媒体播放设备。本发明可以自动调节多媒体播放设置,更加智能,且调节方法更精确。

    一种基于虚拟面光源的实时场景绘制方法

    公开(公告)号:CN103679818A

    公开(公告)日:2014-03-26

    申请号:CN201310695708.9

    申请日:2013-12-17

    Applicant: 南京大学

    Inventor: 潘金贵 过洁

    Abstract: 本发明公开一种基于虚拟面光源的实时场景绘制方法,步骤为:首先从视频纹理中获取一帧最为当前的亮度分布状态;然后利用GPU构造当前视频纹理的SAT;再将场景的原始面光源分为一组虚拟面光源,并保存每个虚拟面光源的相关信息;进而根据虚拟面光源的信息以及构造的SAT分别计算辐射因子形状因子以及可见因子然后将三因子的计算结果带入绘制方程,以累加获得每个场景绘制点的亮度,即获得原始纹理面光源的亮度分布,进行各场景绘制点光照的绘制;随视频纹理的变化,重复上述步骤,即可动态更新各场景绘制点的光照亮度。本发明可减少实时绘制过程中的采样率,从而减少数据处理的时间和占用的内存,同时保证实时绘制结果不受影响。

    一种图像信息辅助的三维物体检测方法

    公开(公告)号:CN118506351A

    公开(公告)日:2024-08-16

    申请号:CN202410568705.7

    申请日:2024-05-09

    Applicant: 南京大学

    Abstract: 本发明提供了一种图像信息辅助的三维物体检测方法,包括如下步骤:步骤1,对包含待检测三维物体的点云及其对应的图像分别进行特征提取;步骤2,基于分块自注意力机制对点云和图像的特征进行融合,得到融合后的多模态特征;步骤3,基于融合后的多模态特征,生成前景点掩码并以此进行偏重前景的多尺度特征提取,得到点云在不同分辨率下的特征图;步骤4,生成目标检测提案,即基于三最近邻插值方法对不同分辨率下的特征图进行插值,使用多层感知机将插值得到的特征与多模态特征融合,并送入两阶段的检测模块,从而生成目标检测提案,完成所述的图像信息辅助的三维物体检测。

    基于辅助缓冲区信息和直接光照的全局光照渲染方法及装置

    公开(公告)号:CN116524101A

    公开(公告)日:2023-08-01

    申请号:CN202310379766.4

    申请日:2023-04-11

    Applicant: 南京大学

    Inventor: 杨珊 过洁 郭延文

    Abstract: 本发明公开了一种基于辅助缓冲区信息和直接光照进行全局光照渲染的方法及装置,本发明首先获取XML格式的场景文件,并将其转换为Blender格式;其次对Blender格式的场景文件进行多视角渲染,得到多图层渲染图像,并通过进行图层划分得到缓冲区信息、直接光照和真实渲染结果图;之后建立间接光照渲染网络模型,将缓冲区信息、直接光照作为输入,以最小化预测结果和真实渲染结果图的差为训练目标进行训练;最后将目标视角的辅助缓冲区信息和直接光照输入训练好的光照预测网络模型,得到间接光照贴图,再上采样后与高分辨率直接光照叠加,得到高分辨率全局光照渲染结果。本发明能够更高效地预测高质量的全局光照。

    一种多媒体播放设置自动调节方法及系统

    公开(公告)号:CN111027675B

    公开(公告)日:2023-03-07

    申请号:CN201911152466.2

    申请日:2019-11-22

    Applicant: 南京大学

    Abstract: 本发明公开了一种多媒体播放设置自动调节方法及系统,方法包括:当按照预设时间间隔或用户操作录制外界环境音频信息,并发送至服务器端;服务器端从接收到的外界环境音频信息中分别提取左声道和右声道的梅尔倒谱系数和恒定Q色度图两种特征,并将两种特征结合后作为各声道的音频特征;服务器端将音频特征输入训练好的深度神经网络中,得到外界环境音频信息对应的环境预测分类标签,并发送至多媒体端;多媒体端判断接收到的环境预测分类标签是否与当前环境分类一致,若不一致,则从预设的设置表中查找与所述环境分类标签对应的推荐播放设置,并按照查找到的推荐播放设置更新多媒体播放设备。本发明可以自动调节多媒体播放设置,更加智能,且调节方法更精确。

Patent Agency Ranking