公开(公告)号：CN111968168A

公开(公告)日：2020-11-20

申请号：CN202010776723.6

申请日：2020-08-05

Applicant: 东南大学

Inventor： 齐志 ,  邢佳斌 ,  董纪莹 ,  刘昊 ,  时龙兴 ,  宋慧滨

IPC: G06T7/55 ,  G06N3/04

Abstract: 本发明公开了一种多分支可调节瓶颈卷积模块(MAB)以及端对端的立体匹配网络，用于估计左右图像的视差。通过调节MAB模块中多分支的尺度系数、各分支空洞卷积的扩张率，来调整卷积捕获信息的通道数以及感受野，进而权衡节省计算量、数据访存量的收益与卷积结果的信息量。该MAB模块可作为轻量级的特征提取模块，广泛使用在深度学习网络中。基于MAB模块以及其3D拓展构造轻量级端对端立体匹配神经网络，与之前的立体匹配神经网络相比，模型参数量和操作次数大大降低，但在SceneFlow和KITTI数据集上测试，精度达到SOTA水准。因此，它更容易部署到嵌入式平台、可穿戴设备等资源受限的系统上。

公开(公告)号：CN111968168B

公开(公告)日：2022-10-25

申请号：CN202010776723.6

申请日：2020-08-05

Applicant: 东南大学

Inventor： 齐志 ,  邢佳斌 ,  董纪莹 ,  刘昊 ,  时龙兴 ,  宋慧滨

IPC: G06T7/55 ,  G06N3/04

Abstract: 本发明公开了一种多分支可调节瓶颈卷积模块(MAB)以及端对端的立体匹配网络，用于估计左右图像的视差。通过调节MAB模块中多分支的尺度系数、各分支空洞卷积的扩张率，来调整卷积捕获信息的通道数以及感受野，进而权衡节省计算量、数据访存量的收益与卷积结果的信息量。该MAB模块可作为轻量级的特征提取模块，广泛使用在深度学习网络中。基于MAB模块以及其3D拓展构造轻量级端对端立体匹配神经网络，与之前的立体匹配神经网络相比，模型参数量和操作次数大大降低，但在SceneFlow和KITTI数据集上测试，精度达到SOTA水准。因此，它更容易部署到嵌入式平台、可穿戴设备等资源受限的系统上。

公开(公告)号：CN110910434A

公开(公告)日：2020-03-24

申请号：CN201911069381.8

申请日：2019-11-05

Applicant: 东南大学

Inventor： 齐志 ,  侯国睿 ,  邢佳斌 ,  董纪莹 ,  蔡家璇 ,  史旭龙 ,  刘昊 ,  时龙兴

IPC: G06T7/50

Abstract: 本发明公开了一种基于FPGA高能效实现深度学习视差估计的方法，包括以下步骤：从FPGA片上内存上读取当前卷积计算子单元所需的、以低位宽数据格式存储的权值数据，并对该权值数据进行数据还原，降低访存代价；S200：对上一个卷积计算子单元输出的特征数据和经过数据还原的权值数据依次进行跳零卷积计算、池化计算和通道混洗计算，输出下一个卷积计算子单元所需的特征图，跳零卷积以及通道混洗进一步减少计算以及访存能耗开销；S300：循环执行S100和S200，直至最后一个卷积计算单元完成计算，输出特征图；S400：对S300输出的特征图中的特征数据进行反卷积计算得到深度信息。

公开(公告)号：CN110910434B

公开(公告)日：2023-05-12

申请号：CN201911069381.8

申请日：2019-11-05

Applicant: 东南大学

Inventor： 齐志 ,  侯国睿 ,  邢佳斌 ,  董纪莹 ,  蔡家璇 ,  史旭龙 ,  刘昊 ,  时龙兴

IPC: G06T7/50

Abstract: 本发明公开了一种基于FPGA高能效实现深度学习视差估计的方法，包括以下步骤：从FPGA片上内存上读取当前卷积计算子单元所需的、以低位宽数据格式存储的权值数据，并对该权值数据进行数据还原，降低访存代价；S200：对上一个卷积计算子单元输出的特征数据和经过数据还原的权值数据依次进行跳零卷积计算、池化计算和通道混洗计算，输出下一个卷积计算子单元所需的特征图，跳零卷积以及通道混洗进一步减少计算以及访存能耗开销；S300：循环执行S100和S200，直至最后一个卷积计算单元完成计算，输出特征图；S400：对S300输出的特征图中的特征数据进行反卷积计算得到深度信息。