-
公开(公告)号:CN115633243B
公开(公告)日:2023-08-04
申请号:CN202211527434.8
申请日:2022-12-01
Applicant: 南京理工大学
IPC: H04N23/55 , H04N23/50 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明涉及一种基于传输矩阵理论的透过散射介质泛化成像方法,包括如下步骤:采集散斑图案,使用包括数字字符目标、字母和汉字目标的实验数据。采用因子化卷积方法,损失函数为均方误差和负皮尔逊相关系数的结合。测量阶段使用字符目标制作的标定图像进行TM的测量,成像阶段将DL数据挖掘能力与测量的TM相结合,通过基于TM原理的物理自闭环约束的骨干网络进行训练而重建成像。成像阶段借助相位检索算法恢复的TM进行成像,相位检索算法结合进行测量阶段恢复的TM进行成像。网络结构大大减少了TM测量阶段所需的数据量,成像阶段的自闭环约束也使成像网络减少了对训练集完整性的过分依赖。
-
公开(公告)号:CN115633243A
公开(公告)日:2023-01-20
申请号:CN202211527434.8
申请日:2022-12-01
Applicant: 南京理工大学
IPC: H04N23/55 , H04N23/50 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明涉及一种基于传输矩阵理论的透过散射介质泛化成像方法,包括如下步骤:采集散斑图案,使用包括数字字符目标、字母和汉字目标的实验数据。采用因子化卷积方法,损失函数为均方误差和负皮尔逊相关系数的结合。测量阶段使用字符目标制作的标定图像进行TM的测量,成像阶段将DL数据挖掘能力与测量的TM相结合,通过基于TM原理的物理自闭环约束的骨干网络进行训练而重建成像。成像阶段借助相位检索算法恢复的TM进行成像,相位检索算法结合进行测量阶段恢复的TM进行成像。网络结构大大减少了TM测量阶段所需的数据量,成像阶段的自闭环约束也使成像网络减少了对训练集完整性的过分依赖。
-
公开(公告)号:CN115631253A
公开(公告)日:2023-01-20
申请号:CN202211659809.6
申请日:2022-12-23
Applicant: 南京理工大学
Abstract: 本发明公开了一种基于物理驱动深度学习的光纤无透镜泛化成像方法,包括如下步骤:采集散斑图案,将采集到的散斑数据进行图像去噪,利用散斑的冗余性选择散斑的中心区域和其周围上、下、左、右偏移量为若干个像素,共5个子区域散斑图进行作为训练数据集,将训练数据集中的散斑进行自相关运算,并将自相关图像输入神经网络中进行重建,本发明的有益效果:有效解决了实际内窥镜场景中,各种目标的泛化重建问题,为多芯光纤内窥镜的实际应用提供了一个有效的帮助。
-
公开(公告)号:CN113901963A
公开(公告)日:2022-01-07
申请号:CN202111472000.8
申请日:2021-12-06
Applicant: 南京理工大学
Abstract: 本发明涉及一种具有多场景适应性的透过散射介质模块化成像方法,包括构建散射介质成像卷积神经网络;改进基础结构;采用即插即用模块与基础结构结合组成新的网络结构;采集数据对卷积神经网络进行训练优化;利用优化后的卷积神经网络进行成像。本发明通过在UNet神经网络结构的基础上增加语义嵌入分支模块SEB,将更多的语义信息引入低级特征,更好地实现低级特征与高级特征之间的融合;结合感受野模块,扩大卷积神经网络的感受野,提升特征层的全局性,优化了成像质量;将特征融合模块、密集连接模块和感受野模块与基础结构结合作为即插即用的系列进行应用,提高了神经网络结构的灵活性。
-
公开(公告)号:CN111739116A
公开(公告)日:2020-10-02
申请号:CN202010684446.6
申请日:2020-07-16
Applicant: 南京理工大学
Abstract: 本发明公开基于深度神经网络透过散射介质目标定位和重建方法,其基于DINet,能用于同时预测深度信息和从单个散斑图重建目标图像;利用系统配置采集实验的图像数据和物体与散射介质间的距离;将不同位置产生的散斑模式统计模型系统配置用于采集实验的图像数据和物体与散射介质之间的距离;散斑图经过双通道网络,经定位通道网络产生深度预测值和成像通道网络进行图像复原重建。本方法能够有效地解决多任务的挑战,在复杂散射情况能够获取多个物理信息。利用多任务总损失函数,对网络的学习和训练具有更强约束力,使得多任务协同训练在定位任务中具更佳性能,提高定位精度和成像质量。
-
公开(公告)号:CN115631206A
公开(公告)日:2023-01-20
申请号:CN202211659814.7
申请日:2022-12-23
Applicant: 南京理工大学
IPC: G06T7/11 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及一种针对散射场景下的图像分割方法,属于散射成像的技术领域,包括构建两步式算法和端到端算法,将散斑数据经过预处理后送进神经网络中学习,实现了散射场景下的图像分割。本发明基于散斑相关成像原理和多通道卷积神经网络强大的数据挖掘能力和映射能力的有效结合,应对散射场景下的目标实现了图像分割,扩宽了抗散射成像的应用领域。针对散射场景下的分割任务,有效提高了重建目标与原始目标结构之间的交并比。该方法充分挖掘散斑信息特征,应对复杂散射场景能够有效分割出物体信息,同时也为透过生物组织的图像分割技术提供了参考。
-
公开(公告)号:CN113901963B
公开(公告)日:2022-04-12
申请号:CN202111472000.8
申请日:2021-12-06
Applicant: 南京理工大学
IPC: G06V40/16 , G06V10/145 , G06V20/62 , G06V10/44 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种具有多场景适应性的透过散射介质模块化成像方法,包括构建散射介质成像卷积神经网络;改进基础结构;采用即插即用模块与基础结构结合组成新的网络结构;采集数据对卷积神经网络进行训练优化;利用优化后的卷积神经网络进行成像。本发明通过在UNet神经网络结构的基础上增加语义嵌入分支模块SEB,将更多的语义信息引入低级特征,更好地实现低级特征与高级特征之间的融合;结合感受野模块,扩大卷积神经网络的感受野,提升特征层的全局性,优化了成像质量;将特征融合模块、密集连接模块和感受野模块与基础结构结合作为即插即用的系列进行应用,提高了神经网络结构的灵活性。
-
公开(公告)号:CN112287571B
公开(公告)日:2021-05-14
申请号:CN202011617450.7
申请日:2020-12-31
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于物理驱动的散射泛化成像方法和实验方法,属于成像分析技术领域,散射泛化成像方法,包括搭建的物理/数据模型,利用相机采集到的散斑图案,并利用散斑相关理论可作为具有普适性的物理原理来约束和指导神经网络在不同散射场景中进行泛化成像。该实验方法包括理论分析和系统实验,在搭建具体的系统实验对本方法进行系统地论述。提高泛化能力和泛化质量,以及泛化更复杂的目标等。将基于散斑相关的物理模型与深度学习的数据模型进行有机结合而大大提高神经网络模型散射泛化成像效果和成像范围。
-
公开(公告)号:CN113962866B
公开(公告)日:2023-04-07
申请号:CN202111575701.4
申请日:2021-12-22
Applicant: 南京理工大学
IPC: G06T3/40 , G06T7/49 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于物理感知学习的散射成像目标重建方法,包括:基于散斑相关的物理先验信息,利用已知目标透过相同散射介质在固定目标和相机位置下的散斑数据进行数据增广和模型训练,而后通过训练好的学习网络对未知散射场景下未知目标位置和相机位置的散斑数据进行目标重建。本发明利用散斑相关在大景深范围下的比例关系进行数据增广,仅通过利用透过一块散射介质下固定目标位置和相机位置的散斑数据进行模型的训练,便可实现对未知散射场景下未知目标位置和相机位置下的复杂目标进行高保真准确重建,同时具有良好的鲁棒性。
-
公开(公告)号:CN113920297B
公开(公告)日:2022-03-18
申请号:CN202111519123.2
申请日:2021-12-14
Applicant: 南京理工大学
Abstract: 本发明公开一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法,包括建立一个物理模型与神经网络模型互驱动的神经网络、建立一个用于采集实验图像数据的系统配置,将采集到的图像数据经过预处理后送进神经网络进行图像复原重建。本发明将基于散斑相关和散斑冗余性物理先验和多通道卷积神经网络强大的数据挖掘和映射能力的有效结合,仅利用一块介质的散斑数据即可实现透过未知散射介质的多光谱复杂目标等情况下,实现对目标的高质量恢复,有力地推动了物理感知学习方法在实际散射场景中的成像泛化成像。该方法更加充分的利用了散斑的原始信息,对实际散射场景复杂多变、目标信息特性复杂和数据难以充分获取任务。
-
-
-
-
-
-
-
-
-