一种受优化算法启发的深度神经网络结构设计方法

    公开(公告)号:CN108985457B

    公开(公告)日:2021-11-19

    申请号:CN201810958553.6

    申请日:2018-08-22

    Applicant: 北京大学

    Abstract: 本发明公布了一种受优化算法启发的深度神经网络结构设计方法,对于所有层共享相同的线性和非线性变换的经典前馈网络结构,将该前馈网络中的前向过程等价于使用梯度下降法最小化某个函数F(x)的迭代过程;进一步采用收敛速度更快的重球法和Nesterov加速算法最小化该函数F(x),由此得到新的性能更好的网络结构;可应用于人工智能、计算机视觉等应用领域。采用本发明技术方案,从优化算法出发设计神经网络结构,能够改进传统的依靠经验、实验尝试搜索的设计方式,得到更高效的神经网络结构,从而节省大量的时间与计算资源。

    一种受优化算法启发的深度神经网络结构设计方法

    公开(公告)号:CN108985457A

    公开(公告)日:2018-12-11

    申请号:CN201810958553.6

    申请日:2018-08-22

    Applicant: 北京大学

    Abstract: 本发明公布了一种受优化算法启发的深度神经网络结构设计方法,对于所有层共享相同的线性和非线性变换的经典前馈网络结构,将该前馈网络中的前向过程等价于使用梯度下降法最小化某个函数F(x)的迭代过程;进一步采用收敛速度更快的重球法和Nesterov加速算法最小化该函数F(x),由此得到新的性能更好的网络结构;可应用于人工智能、计算机视觉等应用领域。采用本发明技术方案,从优化算法出发设计神经网络结构,能够改进传统的依靠经验、实验尝试搜索的设计方式,得到更高效的神经网络结构,从而节省大量的时间与计算资源。

    基于稀疏编码的深度学习网络结构搜索的图像识别方法

    公开(公告)号:CN111967528A

    公开(公告)日:2020-11-20

    申请号:CN202010876709.3

    申请日:2020-08-27

    Applicant: 北京大学

    Abstract: 本发明公布了一种基于稀疏编码的深度学习网络结构搜索的图像识别方法,将基于梯度的可微分网络模型结构进行优化,构造用于在原始高维空间经压缩后映射的低维空间上进行结构搜索的网络模型,再通过稀疏编码技术使得压缩后的低维空间的解对应于原始空间的稀疏解,搜索时优化的网络模型结构即为重训练时的结构,应用于搜索-重训练两阶段图像识别以及搜索-重训练合并一阶段图像识别。本发明在搜索阶段的网络即具有稀疏性,在搜索训练阶段最终收敛的结构即为最终搜到的结构,网络结构搜索更加高效合理,使得图像识别的性能优异。

    小波域中基于集团结构子带共同学习超分辨率网络的方法

    公开(公告)号:CN109272452A

    公开(公告)日:2019-01-25

    申请号:CN201811007566.1

    申请日:2018-08-30

    Applicant: 北京大学

    Abstract: 本发明公布了一种小波域中基于集团结构子带共同学习超分辨率网络的方法,通过构建包括特征提取网络和图像恢复网络的新型超分辨率网络,实现单张图片的超分辨率恢复。通过特征提取网络将输入的低分辨率图像表示为一组特征映射;图像复原网络包括一个集团上采样模块和一个卷积层;将特征提取网络的输出特征传入集团上采样模块中,进行子带提取、自残差学习和子带精细化;使用逆离散小波变换改变特征图的分辨率大小,从而恢复得到高分辨率的特征图;再通过卷积层恢复得到高分辨率图像。本发明方法量化指标好,能够有效实现单张图片的超分辨率恢复。

    基于稀疏编码的深度学习网络结构搜索的图像识别方法

    公开(公告)号:CN111967528B

    公开(公告)日:2023-12-26

    申请号:CN202010876709.3

    申请日:2020-08-27

    Applicant: 北京大学

    Abstract: 本发明公布了一种基于稀疏编码的深度学习网络结构搜索的图像识别方法,将基于梯度的可微分网络模型结构进行优化,构造用于在原始高维空间经压缩后映射的低维空间上进行结构搜索的网络模型,再通过稀疏编码技术使得压缩后的低维空间的解对应于原始空间的稀疏解,搜索时优化的网络模型结构即为重训练时的结构,应用于搜索‑重训练两阶段图像识别以及搜索‑重训练合并一阶段图像识别。本发明在搜索阶段的网络即具有稀疏性,在搜索训练阶段最终收敛的结构即为最终搜到的结构,网络结构搜索更加高效合理,使得图像识别的性能优异。

    小波域中基于集团结构子带共同学习超分辨率网络的方法

    公开(公告)号:CN109272452B

    公开(公告)日:2020-12-22

    申请号:CN201811007566.1

    申请日:2018-08-30

    Applicant: 北京大学

    Abstract: 本发明公布了一种小波域中基于集团结构子带共同学习超分辨率网络的方法,通过构建包括特征提取网络和图像恢复网络的新型超分辨率网络,实现单张图片的超分辨率恢复。通过特征提取网络将输入的低分辨率图像表示为一组特征映射;图像复原网络包括一个集团上采样模块和一个卷积层;将特征提取网络的输出特征传入集团上采样模块中,进行子带提取、自残差学习和子带精细化;使用逆离散小波变换改变特征图的分辨率大小,从而恢复得到高分辨率的特征图;再通过卷积层恢复得到高分辨率图像。本发明方法量化指标好,能够有效实现单张图片的超分辨率恢复。

Patent Agency Ranking