一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法

    公开(公告)号:CN110175628A

    公开(公告)日:2019-08-27

    申请号:CN201910338123.9

    申请日:2019-04-25

    Abstract: 本发明涉及神经网络领域,特别涉及一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法。具体包括以下步骤:步骤一、对于卷积神经网络,对神经网络l层搜索最佳剪枝比例pl;步骤二、对卷积神经网络的l层按照最佳剪枝比例进行剪枝操作;步骤三、对学生网络与教师网络输入训练集样本,前向传播;步骤四、对学生网络使用知识蒸馏算法,进行优化训练;步骤五、对学生网络进行反向传播更新参数,并且优化更新参数,然后跳转至步骤四。本发明实现卷积神经网络的剪枝与精度恢复,克服卷积神经网络压缩依赖原始数据集的问题。

    实现领域自适应的方法、装置、电子设备及介质

    公开(公告)号:CN111680697B

    公开(公告)日:2024-03-22

    申请号:CN202010187988.2

    申请日:2020-03-17

    Applicant: 北京大学

    Abstract: 本申请公开了一种实现领域自适应的方法、装置、电子设备及介质。其中,在基于预设的第一神经网络模型,对样本图像进行至少两个样本图像特征提取后,可以利用至少两个样本图像特征,得到至少两个难度因子,该难度因子为样本图像特征与目标图像特征之间的特征距离,并利用至少两个难度因子,获取损失函数,进而根据该损失函数以及随机梯度下降法,实现目标领域自适应。通过应用本申请的技术方案,可以利用原有的样本图像数据中的图像特征生成对应的难度因子,并根据难度因子的不同进行对应强度的特征对齐。从而使得神经网络模型无法区分源域样本和目标域样本,进而达到覆盖源域和目标域的特征表示的目的。从而实现神经网络模型的领域自适应。

    基于振幅与相位重组的数据增强方法、系统、设备及介质

    公开(公告)号:CN113610737B

    公开(公告)日:2023-10-24

    申请号:CN202110838150.X

    申请日:2021-07-23

    Applicant: 北京大学

    Abstract: 本申请涉及数据处理技术领域,更为具体来说,本申请涉及基于振幅与相位重组的数据增强方法、系统、设备及介质。所述方法包括:获取第一图像;对所述第一图像进行转换处理,得到转换处理图像;分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息;将所述第一图像的相位信息和所述转换处理图像的振幅信息基于反傅里叶变换得到第一增强图像;将所述转换处理图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第二增强图像。本方法能辅助针对图像的神经网络模型的训练,增强后的数据可以提高神经网络的泛化能力及鲁棒性,促进神经网络对雾、雨及各种噪音场景下的图像识别能力。

    脉冲神经网络的剪枝方法、装置及电子设备

    公开(公告)号:CN115423087A

    公开(公告)日:2022-12-02

    申请号:CN202210867737.8

    申请日:2022-07-22

    Applicant: 北京大学

    Abstract: 本发明公开了一种脉冲神经网络的剪枝方法、装置及电子设备。其中,上述方法包括:将突触连接层中每个连接权重组成的初始向量进行初始化操作得到权重向量;当基于反向传播的算法对脉冲神经网络进行剪枝训练时,通过预定义的导函数计算每个损失函数值对隐藏参数向量的梯度;对隐藏参数向量的梯度进行梯度下降更新,并利用预设的递增函数计算软阈值函数进行再次梯度更新时使用的目标阈值;基于目标阈值,利用软阈值函数再次将隐藏参数向量映射到权重向量;当对脉冲神经网络模型的剪枝训练轮数达到预设轮数时,得到训练好的脉冲神经网络模型。本发明解决了相关技术中在神经形态计算芯片上无法有效部署脉冲神经网络的技术问题。

    脉冲阵列时域滤波方法、装置、设备及存储介质

    公开(公告)号:CN111756352B

    公开(公告)日:2022-08-19

    申请号:CN202010421862.7

    申请日:2020-05-18

    Applicant: 北京大学

    Abstract: 本发明公开了一种脉冲阵列时域滤波方法,包括:在监测区域内的各个空间位置建立短时程可塑性模型;将脉冲阵列输入所述短时程可塑性模型,获得各个空间位置的后突触电位值、神经递质剩余量和/或神经递质释放概率;根据同一空间位置的当前时刻产生的脉冲信号与上一个脉冲信号对应的后突触电位值的差值、神经递质剩余量的差值和/或神经递质释放概率的差值,去除该空间位置当前时刻产生的脉冲信号。通过上述方法,可以将阵列中跟检测物体无关的背景脉冲信息去除,处理后的脉冲阵列信号可用于运动物体的检测、跟踪、识别。

    基于振幅与相位重组的数据增强方法、系统、设备及介质

    公开(公告)号:CN113610737A

    公开(公告)日:2021-11-05

    申请号:CN202110838150.X

    申请日:2021-07-23

    Applicant: 北京大学

    Abstract: 本申请涉及数据处理技术领域,更为具体来说,本申请涉及基于振幅与相位重组的数据增强方法、系统、设备及介质。所述方法包括:获取第一图像;对所述第一图像进行转换处理,得到转换处理图像;分别对所述第一图像和所述转换处理图像进行傅里叶变换得到所述第一图像和所述转换处理图像的相位信息与振幅信息;将所述第一图像的相位信息和所述转换处理图像的振幅信息基于反傅里叶变换得到第一增强图像;将所述转换处理图像的相位信息和所述第一图像的振幅信息基于反傅里叶变换得到第二增强图像。本方法能辅助针对图像的神经网络模型的训练,增强后的数据可以提高神经网络的泛化能力及鲁棒性,促进神经网络对雾、雨及各种噪音场景下的图像识别能力。

    一种基于数字视网膜的端、边、云协同系统及方法、设备

    公开(公告)号:CN113242271A

    公开(公告)日:2021-08-10

    申请号:CN202110286282.6

    申请日:2021-03-17

    Applicant: 北京大学

    Abstract: 本申请能够提供一种基于数字视网膜的端、边、云协同系统及方法、设备,该协同系统可包括但不限于前端设备、边缘设备及云端设备。前端设备用于从采集的视频数据中提取出具有通用性的特征,并用于基于特征生成分析识别任务;前端设备还用于对分析识别任务进行处理,以得到用于发送至边缘设备的第一中间结果。边缘设备用于基于第一中间结果对分析识别任务进行处理,以得到用于发送至云端设备的第二中间结果。云端设备用于基于第二中间结果对分析识别任务进行处理,以生成视频数据的分析识别结果。基于本申请所提供的协同系统架构能够实现计算协同、特征协同以及模型协同,所以本申请技术方案具有高能效等优点,非常适用于处理大规模的视频数据。

    一种运动目标检测跟踪方法

    公开(公告)号:CN113034542A

    公开(公告)日:2021-06-25

    申请号:CN202110255763.0

    申请日:2021-03-09

    Applicant: 北京大学

    Abstract: 本申请涉及运动检测技术领域,具体而言,本申请涉及一种运动目标检测跟踪方法。所述方法包括以下步骤:采集监测区域的时空信号生成时空脉冲阵列;对所述时空脉冲阵列进行运动检测并生成对应的脉冲编码序列;将所述时空脉冲阵列输入脉冲神经网络中,所述脉冲神经网络根据所述时空脉冲阵列的发放模式进行聚类;结合所述脉冲编码序列和所述聚类结果获得目标的运动信息和位置信息;根据所述目标的运动信息和位置信息进行状态预测,将预测结果反馈到进行聚类的所述脉冲神经网络,以辅助修正预测时产生的误差。本申请的所述方法可分析获取如运动物体位置、大小、运动方向、运动速度等等运动信息,从而实现对不同运动目标的检测跟踪及运动轨迹的预测。

    高质量视频重建方法、装置、设备及存储介质

    公开(公告)号:CN113033616A

    公开(公告)日:2021-06-25

    申请号:CN202110230314.0

    申请日:2021-03-02

    Applicant: 北京大学

    Abstract: 本发明公开了一种高质量视频重建方法、装置、设备及存储介质,所述方法包括提取参考视频流以及原始视频流的深度学习特征,得到参考特征流以及原始特征流;将所述参考特征流和原始特征流进行特征融合,得到融合特征流;根据所述融合特征流对待处理的低分辨率视频流进行视频重建,得到高质量的视频流。根据本公开实施例提供的高质量视频重建方法,可以对低分辨率的视频流进行视频重建,利用云端汇聚的低分辨率视频流以及深度学习特征,恢复出高质量的视频流。

    一种基于可形变结构的行人图像生成方法和装置

    公开(公告)号:CN110288677B

    公开(公告)日:2021-06-15

    申请号:CN201910425357.7

    申请日:2019-05-21

    Applicant: 北京大学

    Abstract: 本发明涉及图像生成领域,特别涉及一种基于可形变结构的行人图像生成方法和装置。具体包括以下步骤:步骤一、对行人图片和目标姿态图片按照部位结构进行分割操作,进行提取mask操作;步骤二、然后进行部位生成操作,得到部位生成图片;步骤三、对部位生成图片进行结构化合并操作,得到结构化合并图片;步骤四、进行整体生成操作,得到生成图片。本发明在考虑人体可形变结构的基础上,降低训练的代价,提升算法的性能。

Patent Agency Ranking