降低神经网络推理所需内存占用量的重计算方法和系统

    公开(公告)号:CN117009093B

    公开(公告)日:2024-03-12

    申请号:CN202311278523.8

    申请日:2023-10-07

    Abstract: 降低神经网络推理所需内存占用量的重计算方法和系统,包括:通过神经网络模型的计算图构建有向无环图#imgabs0#;基于有向无环图#imgabs1#,获得重计算对集合#imgabs2#;对重计算对集合#imgabs3#进行幂集操作。根据幂集中的每一个元素#imgabs4#,对图#imgabs5#进行附加属性得到对应的图#imgabs6#;基于图#imgabs7#,进行涉及重计算策略的调度算法;在全部#imgabs8#的调度结果中,选择内存占用量最低的调度。在边缘设备智能性的需求逐渐加重的背景下,边缘设备的运行内存十分宝贵的场景下,本发明以增加额外计算代价的方式获得神经网络推理时更小的内存占用量,对边缘智能的普适性有着贡献。

    降低神经网络推理所需内存占用量的重计算方法和系统

    公开(公告)号:CN117009093A

    公开(公告)日:2023-11-07

    申请号:CN202311278523.8

    申请日:2023-10-07

    Abstract: 降低神经网络推理所需内存占用量的重计算方法和系统,包括:通过神经网络模型的计算图构建有向无环图#imgabs0#;基于有向无环图#imgabs1#,获得重计算对集合#imgabs2#;对重计算对集合#imgabs3#进行幂集操作。根据幂集中的每一个元素#imgabs4#,对图#imgabs5#进行附加属性得到对应的图#imgabs6#;基于图#imgabs7#,进行涉及重计算策略的调度算法;在全部#imgabs8#的调度结果中,选择内存占用量最低的调度。在边缘设备智能性的需求逐渐加重的背景下,边缘设备的运行内存十分宝贵的场景下,本发明以增加额外计算代价的方式获得神经网络推理时更小的内存占用量,对边缘智能的普适性有着贡献。

    一种对抗生成神经网络压缩方法

    公开(公告)号:CN115660070A

    公开(公告)日:2023-01-31

    申请号:CN202211413167.1

    申请日:2022-11-11

    Abstract: 目的是解决现有的深度学习模型压缩技术如剪枝,量化难以直接应用在生成对抗网络模型中的问题,提出了一种针对生成对抗网络模型的压缩方法,(1)获得将要压缩的生成对抗网络,并将其作为教师网络;(2)构建最大学生网络模型并预训练;(3)学生网络模型剪枝;(4)学生网络模型蒸馏。本发明能够有效的减少网络的参数量与计算量。涉及人工智能领域,具体涉及生成对抗神经网络压缩领域。对生成对抗网络的实际应用与部署有着重要意义。通过本方法,在工业中广泛使用的cyclegan模型参数量压缩43倍,模型计算量压缩29倍,模型的表现能力(FID)几乎没有下降,压缩后的cyclegan′生成的图片与原cyclegan网络生成的图片用肉眼难以分辨。

Patent Agency Ranking