公开(公告)号：CN111340173A

公开(公告)日：2020-06-26

申请号：CN201911343340.3

申请日：2019-12-24

Applicant: 中国科学院深圳先进技术研究院

Inventor： 周阳 ,  张涌 ,  宁立 ,  王书强 ,  许宜诚 ,  文森特·周

IPC: G06N3/00

Abstract: 本申请涉及一种针对高维数据的生成对抗网络训练方法、系统及电子设备。包括：步骤a：搭建生成对抗网络骨干结构；步骤b：使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解；步骤c：使用真实高维数据训练一个基于张量火车分解的张量自编码器，通过所述张量自编码器输出真实高维数据的空间结构特征；步骤d：将所述张量自编码器的输出和判别器生成的最后一层特征相结合作为最后一层的输入，对生成对抗网络进行训练。本申请使生成对抗网络具备直接生成高维数据的能力，同时减少网络的参数量，使网络的训练更加稳定，并提高生成数据的质量和多样性。

公开(公告)号：CN110751265A

公开(公告)日：2020-02-04

申请号：CN201910904649.9

申请日：2019-09-24

Applicant: 中国科学院深圳先进技术研究院

Inventor： 周阳 ,  张涌 ,  宁立 ,  王书强 ,  邬晶晶 ,  姜元爽

IPC: G06N3/04 ,  G06N3/08 ,  G06F17/16

Abstract: 本申请涉及一种轻量型神经网络构建方法、系统及电子设备。包括：步骤a：使用张量火车分解算法对深度可分离卷积中的1×1卷积参数矩阵进行分解；步骤b：使用权重量化算法对张量分解后的矩阵核参数进行量化操作，得到优化后的深度可分离卷积；步骤c：使用优化后的深度可分离卷积构建轻量型神经网络。本申请通过使用张量火车分解算法对深度可分离卷积的1×1卷积进行压缩，保持了模型性能的同时，大大减少了深度可分离卷积的参数量。通过使用权重量化算法将张量分解后的核矩阵参数从32bit量化至低比特，减少了模型的计算量并加快了模型的前向推断速度，由此构建的轻量型神经网络能够更好的部署在计算量和存储量有限的嵌入式设备上。