-
公开(公告)号:CN109447014A
公开(公告)日:2019-03-08
申请号:CN201811317221.6
申请日:2018-11-07
Applicant: 东南大学-无锡集成电路技术研究所 , 东南大学 , 南京三宝科技股份有限公司
Abstract: 本发明公开了一种基于双通道卷积神经网络的视频在线行为检测方法。首先,通过光流图片序列生成模块对输入的RGB图进行变换,得到光流图;其次,将得到的光流图与原RGB图通过双通道分别输入至两个相同的轻量双卷积核SSD网络中,分别提取出两种图的时序特征和空间特征以及检测框和置信分值;然后,通过融合模块对两种图片生成的检测框和置信分值进行融合,形成带检测框和置信分值的图片;最后,将带有检测框和置信分值的图片输入在线动作管道,从视频的角度给出最终的行为检测结果。本发明通过设计轻量双卷积核SSD网络,大幅度简化了深度学习网络,提高了行为检测效率。
-
公开(公告)号:CN108806243A
公开(公告)日:2018-11-13
申请号:CN201810371782.8
申请日:2018-04-24
Applicant: 东南大学 , 东南大学—无锡集成电路技术研究所
Abstract: 本发明公开了一种基于Zynq‑7000的交通流量信息采集终端,属于交通控制系统信号装置的技术领域。该终端以Zynq‑7000芯片为载体,搭建了包含视频图像采集传感器、外部存储器模块、HDMI显示器的架构,使用AXI4总线进行PS模块和PL模块内部互联,设计了加速卷积神经网络计算的IP核,采用MCU驱动AXI4‑VDMA IP核和AXI4‑DMA IP核的通信架构实现了PS模块和PL模块的实时数据交互,将视频图像采集、存储、目标检测、流量统计、显示输出等功能集成单芯片上,集成度高,高速度和低延迟的数字图像处理和数据传输能够满足交通流量统计的实时性要求。
-
公开(公告)号:CN107766812A
公开(公告)日:2018-03-06
申请号:CN201710945484.0
申请日:2017-10-12
Applicant: 东南大学—无锡集成电路技术研究所 , 东南大学
IPC: G06K9/00
CPC classification number: G06K9/00228 , G06K9/00288 , G06K9/00986
Abstract: 本发明公开了一种基于MiZ702N的实时人脸检测识别系统,包括图像传感器、MiZ702N开发板、VGA显示器;MiZ702N开发板包括视频输入模块、存储器、CPU、神经网络加速器、视频输出模块;图像传感器采集视频信息并将信息发送到视频输入模块,之后将单帧图像存储到存储器中;CPU从存储器获取图像信息,进行图像预处理后将预处理后的图像存储到存储器中;神经网络加速器从存储器中获取预处理后的图像进行人脸检测运算和人脸识别运算,然后将运算结果返回存储器;CPU根据运算结果处理图像;视频输出模块从存储器中获取经CPU处理后的图像,最后输出数据到VGA显示器。本发明具有内部总线数据传输速度快,神经网络并行度高,实时准确检测识别人脸的优点。
-
公开(公告)号:CN110046565A
公开(公告)日:2019-07-23
申请号:CN201910279211.6
申请日:2019-04-09
Applicant: 东南大学 , 东南大学—无锡集成电路技术研究所
Abstract: 本发明公开一种基于Adaboost算法的人脸检测方法,步骤是:对输入的视频或图像进行预处理,包括进行灰度归一化和滤波去噪;将彩色图像的RGB空间转换为YCbCr空间,然后根据肤色色度的范围,对图像进行肤色分割;对肤色分割后的图像进行形态学处理;采用Canny边缘检测算法对形态学处理后的图像进行边缘检测;利用RHT检测图像中的椭圆,将检测出似人脸的椭圆区域抠出,作为人脸候选区域;利用Adaboost算法训练级联分类器,利用训练好的级联分类器对人脸候选区域进行人脸检测,输出人脸位置。此种人脸检测方法能够在保证检测率的同时,降低计算量,提高检测速度。
-
公开(公告)号:CN109948113A
公开(公告)日:2019-06-28
申请号:CN201910159208.0
申请日:2019-03-04
Applicant: 东南大学 , 东南大学—无锡集成电路技术研究所
IPC: G06F17/14
Abstract: 本发明公开一种基于FPGA的二维FFT加速器,MCU与外部存储器相连接,用于读取外部存储器的输入数据,并将FFT计算结果发送给外部存储器;图片缓存区和旋转因子缓存区分别包含N个图片子缓存区和N个旋转因子子缓存区,用于缓存通过AXI4总线接口从MCU读取的图片和旋转因子数据;地址产生器用于产生图片缓存区的读取地址,按照该地址读取图片缓存区中的数据送入FFT计算器;FFT计算器采用FPGA实现,包含N个FFT计算子单元,每个计算子单元对应配置一个图片子缓存区和一个旋转因子子缓存区,每个计算子单元均用于完成复数乘法功能和四点FFT操作;结果缓存区用于缓存FFT计算器处理后的计算结果,然后通过AXI4总线接口发送至MCU。此种结构能够高效地进行图像的二维FFT。
-
公开(公告)号:CN109934339A
公开(公告)日:2019-06-25
申请号:CN201910168042.9
申请日:2019-03-06
Applicant: 东南大学 , 东南大学—无锡集成电路技术研究所
Abstract: 本发明公开一种基于一维脉动阵列的通用卷积神经网络加速器,AXI4总线接口用于实现模式配置指令的载入以及待计算数据的读取与结果数据的批量发送;模式配置器通过模式配置指令配置各个功能模块为对应工作类型;数据调度模块可并发进行待计算数据缓存、计算数据读取、卷积结果缓存以及卷积结果处理与输出任务;卷积计算模块采用一维脉动阵列的模式进行卷积计算;待计算数据缓存区、卷积结果缓存区、输出结果缓冲FIFO,用于缓存对应数据;结果处理模块进行卷积神经网络中常见的结果处理操作。此种加速器能够兼容卷积神经网络中的不同计算类型并进行高并行度计算来有效加速,同时只需要较低的片外访存带宽需求以及少量的片上存储资源。
-
公开(公告)号:CN109034025A
公开(公告)日:2018-12-18
申请号:CN201810774764.4
申请日:2018-07-16
Applicant: 东南大学 , 东南大学—无锡集成电路技术研究所
IPC: G06K9/00
CPC classification number: G06K9/00228 , G06K9/00268
Abstract: 本发明公开一种基于ZYNQ的人脸关键点检测系统,包括摄像头、ZYNQ平台和VGA显示器,其中,ZYNQ平台集成有可编程逻辑模块和处理系统模块,处理系统模块中设有处理器和存储器;所述摄像头用于采集视频信息并将其发送到ZYNQ平台,ZYNQ平台将视频转换成单帧图像并保存在存储器中,可编程逻辑模块进行一系列计算后将运算结果返回处理器,处理器根据运算结果显示相应的人脸关键点,并将处理后的图像存至存储器,最后图像转成满足VGA输出的数据格式并输出到VGA显示器。此种系统具有并行计算能力强,准确率高和预测速度快的优点。
-
公开(公告)号:CN110046565B
公开(公告)日:2023-07-14
申请号:CN201910279211.6
申请日:2019-04-09
Applicant: 东南大学 , 东南大学—无锡集成电路技术研究所
IPC: G06V40/16 , G06V10/26 , G06V10/34 , G06V10/774 , G06V10/764
Abstract: 本发明公开一种基于Adaboost算法的人脸检测方法,步骤是:对输入的视频或图像进行预处理,包括进行灰度归一化和滤波去噪;将彩色图像的RGB空间转换为YCbCr空间,然后根据肤色色度的范围,对图像进行肤色分割;对肤色分割后的图像进行形态学处理;采用Canny边缘检测算法对形态学处理后的图像进行边缘检测;利用RHT检测图像中的椭圆,将检测出似人脸的椭圆区域抠出,作为人脸候选区域;利用Adaboost算法训练级联分类器,利用训练好的级联分类器对人脸候选区域进行人脸检测,输出人脸位置。此种人脸检测方法能够在保证检测率的同时,降低计算量,提高检测速度。
-
公开(公告)号:CN109934339B
公开(公告)日:2023-05-16
申请号:CN201910168042.9
申请日:2019-03-06
Applicant: 东南大学 , 东南大学—无锡集成电路技术研究所
IPC: G06N3/063 , G06N3/0464
Abstract: 本发明公开一种基于一维脉动阵列的通用卷积神经网络加速器,AXI4总线接口用于实现模式配置指令的载入以及待计算数据的读取与结果数据的批量发送;模式配置器通过模式配置指令配置各个功能模块为对应工作类型;数据调度模块可并发进行待计算数据缓存、计算数据读取、卷积结果缓存以及卷积结果处理与输出任务;卷积计算模块采用一维脉动阵列的模式进行卷积计算;待计算数据缓存区、卷积结果缓存区、输出结果缓冲FIFO,用于缓存对应数据;结果处理模块进行卷积神经网络中常见的结果处理操作。此种加速器能够兼容卷积神经网络中的不同计算类型并进行高并行度计算来有效加速,同时只需要较低的片外访存带宽需求以及少量的片上存储资源。
-
公开(公告)号:CN107679469B
公开(公告)日:2021-03-30
申请号:CN201710863757.7
申请日:2017-09-22
Applicant: 东南大学—无锡集成电路技术研究所 , 东南大学
Abstract: 本发明公开了一种基于深度学习的非极大值抑制方法,针对深度学习目标检测算法预测窗口的特点,定义了一种新的置信度指数。提出了改进的窗口筛选准则和依据置信度指数对窗口参数进行加权平均的方法。相比于传统方法有着更高的定位精度,更高的召回率以及更佳的鲁棒性。本方法首先找到每个目标对应的置信度最高的窗口为主窗口,然后在每个窗口附近找到置信度大于阈值且与主窗口的交叠率大于阈值的一批窗口作为子窗口。根据子窗口的位置参数和置信度调整主窗口的位置参数,得到新的窗口。多种情况下的实验表明,在相同的目标检测算法下,本方法得到的窗口更接近于真实窗口。
-
-
-
-
-
-
-
-
-