公开(公告)号：CN114819074B

公开(公告)日：2024-11-12

申请号：CN202210408581.7

申请日：2022-04-19

Applicant: 东南大学

Inventor： 齐志 ,  蔡家璇 ,  刘昊

IPC: H04N13/128 ,  G06N3/0464 ,  G06N3/08 ,  G06T3/4007 ,  G06T7/593

Abstract: 本发明公开了一种全二值卷积的极少计算量的端到端双目立体匹配网络(PBCStereo)，用于双目深度估计任务。基于二值卷积模块、二值上采样模块、输入层编码方法的设计，PBCStereo中的所有卷积过程都为二值卷积。与其他依赖于浮点卷积的双目立体匹配方法相比，PBCStereo节省了10倍以上的计算次数，对于输入分辨率为512*256的输入图像对，PBCStere完成深度估计的计算量开销仅为0.64G OPs。因此，PBCStereo更容易被部署在计算资源受限的边缘设备上，同时它在SceneFlow与KITTI数据集上也实现了相当的准确性，SceneFlow上的端点误差为1.84，KITTI 2012上的三像素点误差百分比为4.46％，KITTI 2015上的三像素点误差百分比为4.73％。

公开(公告)号：CN110910434A

公开(公告)日：2020-03-24

申请号：CN201911069381.8

申请日：2019-11-05

Applicant: 东南大学

Inventor： 齐志 ,  侯国睿 ,  邢佳斌 ,  董纪莹 ,  蔡家璇 ,  史旭龙 ,  刘昊 ,  时龙兴

IPC: G06T7/50

Abstract: 本发明公开了一种基于FPGA高能效实现深度学习视差估计的方法，包括以下步骤：从FPGA片上内存上读取当前卷积计算子单元所需的、以低位宽数据格式存储的权值数据，并对该权值数据进行数据还原，降低访存代价；S200：对上一个卷积计算子单元输出的特征数据和经过数据还原的权值数据依次进行跳零卷积计算、池化计算和通道混洗计算，输出下一个卷积计算子单元所需的特征图，跳零卷积以及通道混洗进一步减少计算以及访存能耗开销；S300：循环执行S100和S200，直至最后一个卷积计算单元完成计算，输出特征图；S400：对S300输出的特征图中的特征数据进行反卷积计算得到深度信息。

公开(公告)号：CN110910434B

公开(公告)日：2023-05-12

申请号：CN201911069381.8

申请日：2019-11-05

Applicant: 东南大学

Inventor： 齐志 ,  侯国睿 ,  邢佳斌 ,  董纪莹 ,  蔡家璇 ,  史旭龙 ,  刘昊 ,  时龙兴

IPC: G06T7/50

Abstract: 本发明公开了一种基于FPGA高能效实现深度学习视差估计的方法，包括以下步骤：从FPGA片上内存上读取当前卷积计算子单元所需的、以低位宽数据格式存储的权值数据，并对该权值数据进行数据还原，降低访存代价；S200：对上一个卷积计算子单元输出的特征数据和经过数据还原的权值数据依次进行跳零卷积计算、池化计算和通道混洗计算，输出下一个卷积计算子单元所需的特征图，跳零卷积以及通道混洗进一步减少计算以及访存能耗开销；S300：循环执行S100和S200，直至最后一个卷积计算单元完成计算，输出特征图；S400：对S300输出的特征图中的特征数据进行反卷积计算得到深度信息。

公开(公告)号：CN114819074A

公开(公告)日：2022-07-29

申请号：CN202210408581.7

申请日：2022-04-19

Applicant: 东南大学

Inventor： 齐志 ,  蔡家璇 ,  刘昊

IPC: G06N3/04 ,  G06N3/08 ,  G06T3/40

Abstract: 本发明公开了一种全二值卷积的极少计算量的端到端双目立体匹配网络(PBCStereo)，用于双目深度估计任务。基于二值卷积模块、二值上采样模块、输入层编码方法的设计，PBCStereo中的所有卷积过程都为二值卷积。与其他依赖于浮点卷积的双目立体匹配方法相比，PBCStereo节省了10倍以上的计算次数，对于输入分辨率为512*256的输入图像对，PBCStere完成深度估计的计算量开销仅为0.64G OPs。因此，PBCStereo更容易被部署在计算资源受限的边缘设备上，同时它在SceneFlow与KITTI数据集上也实现了相当的准确性，SceneFlow上的端点误差为1.84，KITTI 2012上的三像素点误差百分比为4.46％，KITTI 2015上的三像素点误差百分比为4.73％。