公开(公告)号：CN119538302A

公开(公告)日：2025-02-28

申请号：CN202411393971.7

申请日：2024-10-08

Applicant: 武汉大学

Inventor： 王丽娜 ,  庞智 ,  余方超 ,  赵凯 ,  曾博 ,  徐树旺

IPC: G06F21/62 ,  G06N3/0464 ,  G06N3/0495 ,  G06N3/082 ,  G06N3/048 ,  G06N3/042

Abstract: 本发明属于人工智能信息安全技术领域，具体公开了一种基于winograd稀疏卷积和可微分激活函数近似的神经网络隐私推理方法及装置，针对现有的神经网络隐私推理计算时延高和通信代价大的难题，基于winograd算法的乘法高效卷积特性，结合多粒度权重剪枝算法，最大化线性卷积层的稀疏性，降低乘法密集的卷积层所需的通信代价。同时对非线性激活函数进行协同优化，通过设计新的激活函数敏感性和重要性量化评估算法，引入自适应可学习的多项式函数，提升激活函数的拟合精度，降低多项式替换损失，并使用多阶段知识蒸馏方法保留神经网络模型强大的预测性能，在不影响预测精度的前提下，有效提高隐私保护神经网络推理的计算和通信效率。