一种跨模态的三维光场渲染方法及三维渲染装置

    公开(公告)号:CN118736084A

    公开(公告)日:2024-10-01

    申请号:CN202410955235.X

    申请日:2024-07-17

    Applicant: 南京大学

    Inventor: 李希才 李佳家

    Abstract: 本申请公开一种跨模态的三维光场渲染方法及三维渲染装置。技术方案对目标物体的双波段图像进行了前景后景的分割和融合,由于前景图像涵盖更多高频信息,而背景图像含有更多低频信息,所含信息的特征不同,那么将前后景图像进行分离和融合后能够显著提升融合图像的精度。此外,本申请采用了图像先融合后渲染的模式减少了可见光图像和红外图像坐标归一化引起的误差,因此在生成融合图像的伪数据时,得到的目标物体上每个特征点的探测信息,信息更加精确。在方法中加入了多维度的探测信息,那么可以根据红外图像的辐射强度随着温度的上升而减少,辐射强度与探测距离成比例的特点,使融合图像的伪数据有效贴合红外图像的特性。

    一种跨模态融合的三维渲染方法及三维渲染装置、存储介质

    公开(公告)号:CN118135085A

    公开(公告)日:2024-06-04

    申请号:CN202410282516.3

    申请日:2024-03-12

    Applicant: 南京大学

    Abstract: 本申请公开一种跨模态融合的三维渲染方法及三维渲染装置、存储介质,由于利用NeRF学习不同模态下三维场景的信息,相较于传统图像跨模态融合仅能融合一个场景中有限的二维图像信息,所公开的方案能够实现对目标场景进行跨模态融合的三维渲染,并且花费了更小存储代价实现了远超传统基于SFM进行点云匹配的跨模态三维重建方法的重建质量,并使用面向跨模态融合所设计的独特NeRF网络结构使其更准确地重建跨模态场景;同时,模型训练过程中对场景不同模态信息进行语义级匹配,并对不同模态的信息进行取舍,实现互补信息的融合。

    一种飞行器室内集群控制系统及手势操控方法

    公开(公告)号:CN116483011A

    公开(公告)日:2023-07-25

    申请号:CN202310464430.8

    申请日:2023-04-26

    Applicant: 南京大学

    Abstract: 本申请公开了一种飞行器室内集群控制系统及手势操控方法,该系统通过红外光源对飞行器进行身份编码以此来区分集群中各飞行器的身份信息,利用双波段相机采集各飞行器的飞行位置和身份编码;同时在算法设计上,综合单阶段轻量化目标检测算法和立体视觉定位技术快速确定各飞行器的空间位置信息,再将飞行器红外身份码图像进行特征点对齐,从而解码出各飞行器的身份信息,功能上追加手势识别和电子围栏功能,使得手势识别单元能够识别手势图像输出手势信息,同时视觉信息融合模块能够基于位置信息和手势信息统筹控制集群中各飞行器于电子围栏中执行飞行任务,以此拓展飞行器的安全性和灵活性,使得集群任务更加安全高效,提高了系统的鲁棒性。

    一种轻量级人脸检测与跟踪方法
    4.
    发明公开

    公开(公告)号:CN114565954A

    公开(公告)日:2022-05-31

    申请号:CN202111310370.1

    申请日:2021-11-05

    Applicant: 南京大学

    Abstract: 一种轻量级人脸检测与跟踪方法,该人脸检测方法包括步骤:在低分辨率热红外图像全图范围内检测人脸以获取人脸候选区域坐标位置;将人脸候选区域坐标位置转换为在可见光图像中对应的坐标数据;在红外引导的小块高分辨率可见光图像区域再次进行快速人脸检测,以获得更加精准的人脸位置;在检测后的一定数量图像帧中,根据历史数据进行自适应人脸位置预测与跟踪。由于结合了热红外与可见光成像的优势,提高了人脸检测鲁棒性。避免了在全帧可见光图像中的人脸检测,并使用卡尔曼滤波及时修正人脸跟踪结果,且人脸检测算法均采用精简或加速的轻量化神经网络,从而可将算法部署在低算力设备中高速运行,实现降低了系统开发成本。

    一种用于光场显示的高均匀无缝拼接系统和亮度调节方法

    公开(公告)号:CN119964468A

    公开(公告)日:2025-05-09

    申请号:CN202510262795.1

    申请日:2025-03-06

    Applicant: 南京大学

    Abstract: 本申请公开了一种用于光场显示的高均匀无缝拼接系统和亮度调节方法,属于光场显示技术领域。系统使用最小显示单元模块化拼接架构实现超高分辨率显示,采用复合微透镜阵列实现成像面轴向位移,通过像素矩阵的光学扩展覆盖相邻显示单元间隙,消除物理拼缝导致的视差断层。系统集成分布式动态均光模块,实时采集显示区域亮度数据,通过阵列光源驱动控制对低照度区域进行亮度补偿,改变透光率对系统进行像素级亮度均匀性调控。本方案有效解决了高分辨率光场重建中的像素连续性缺失和相邻调光区域光耦合问题。该系统广泛适用于光场三维显示,是一种提高三维显示效果的方案。

    一种通用型飞控及自适应串级ADRC控制算法

    公开(公告)号:CN117195387A

    公开(公告)日:2023-12-08

    申请号:CN202310919523.5

    申请日:2023-07-25

    Applicant: 南京大学

    Abstract: 本申请公布了一种通用型飞控及自适应串级ADRC控制算法,其中通用型飞控包括位置传感单元、姿态传感单元、核心处理器和协处理器。位置传感单元和姿态传感单元用于获取飞行器的飞行位姿信息,并通过总线传输至核心处理器进行姿态解算,从而为飞行器提供位姿信息。位姿信息传输至协处理器并基于自适应ADRC控制算法对飞行器进行综合控制,以达到期望状态。此外,本申请所公开的自适应串级ADRC控制算法采用BP神经网络对该控制器实施在线参数整合,从而克服了传统飞控系统中复杂的调参流程。同时本发明所公开的飞控具有良好通用性,可支持多种载具。本申请一种通用型飞控由于采用了核心处理器与协处理架构,大幅提高了系统的鲁棒性,便于生产迭代与维护。

    一种基于Mavlink协议的自由立体显示器三维输入交互装置

    公开(公告)号:CN113220126B

    公开(公告)日:2023-06-09

    申请号:CN202110562167.7

    申请日:2021-05-21

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于Mavlink协议的自由立体显示器三维输入交互装置,属于立体显示与交互领域。该装置包括姿态获取模块、数据传输模块、立体图像处理模块。姿态获取模块利用pixhawk获取输入端的姿态信息,并借助WiFi模块进行模块间信息传递。数据传输模块借助Mavlink协议,将获取信息的命令从树莓派打包发送至pixhawk,同时pixhawk将采集到的各种信息按照协议约定打包从pixhawk串口发送至树莓派,树莓派再按照协议解码得到数据。立体图像处理模块将解码后的控制信号数据与外部输入的数字图像信息进行融合,将输入端的姿态变化显示在屏幕上,最终将输入姿态和立体图像结合,以达到立体交互的目的。本发明操作过程简单方便,信息传输安全可靠稳定,人机交互体验完善。

    一种基于Mavlink协议的自由立体显示器三维输入交互装置

    公开(公告)号:CN113220126A

    公开(公告)日:2021-08-06

    申请号:CN202110562167.7

    申请日:2021-05-21

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于Mavlink协议的自由立体显示器三维输入交互装置,属于立体显示与交互领域。该装置包括姿态获取模块、数据传输模块、立体图像处理模块。姿态获取模块利用pixhawk获取输入端的姿态信息,并借助WiFi模块进行模块间信息传递。数据传输模块借助Mavlink协议,将获取信息的命令从树莓派打包发送至pixhawk,同时pixhawk将采集到的各种信息按照协议约定打包从pixhawk串口发送至树莓派,树莓派再按照协议解码得到数据。立体图像处理模块将解码后的控制信号数据与外部输入的数字图像信息进行融合,将输入端的姿态变化显示在屏幕上,最终将输入姿态和立体图像结合,以达到立体交互的目的。本发明操作过程简单方便,信息传输安全可靠稳定,人机交互体验完善。

    一种基于光流相机的姿态定位方法

    公开(公告)号:CN112254721A

    公开(公告)日:2021-01-22

    申请号:CN202011235690.0

    申请日:2020-11-06

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于光流相机的姿态定位方法,涉及无人机定位技术领域,主要用于实现无人机的自主控制飞行。本发明的系统结构主要由中央处理单元、图像传感单元、姿态传感单元、高度传感单元、补光单元、预警单元和电源单元组成。中央处理单元与图像传感单元、姿态传感单元、高度传感单元相连,分别对图像传感数据进行光流算法处理、对姿态传感数据进行二维速度补偿、对高度传感数据进行三维速度计算。中央处理单元与补光单元、预警单元相连,分别控制近红外补光灯、声光预警的开启与关闭。电源单元为上述单元提供供电。本发明在克服传统视觉定位方法精度不高、准度随时间漂移的同时,还保证低亮度情况下系统的稳定运转,提供实时监测和预警。

Patent Agency Ranking