公开(公告)号：CN118917368A

公开(公告)日：2024-11-08

申请号：CN202410956818.4

申请日：2024-07-16

Applicant: 南京大学

Inventor： 王欣然 ,  宁宏凯 ,  孟苑 ,  于志浩 ,  傅玉祥 ,  温恒迪 ,  罗夕艾

IPC: G06N3/0495 ,  G06N3/084

Abstract: 本申请公开了一种稀疏神经网络的矢量近似更新方法及应用，方法包括获取神经网络中待更新的权重参数的精确梯度参数，得到精确梯度信息；为矩阵结构中同行的多个权重参数以及同列的多个权重参数构建相同的更新脉冲；构建操作矩阵变量；基于操作矩阵变量构建梯度矩阵变量；以精确梯度矩阵为梯度矩阵变量的目标，拟合求解操作矩阵变量，得到最优操作矩阵；基于所述最优操作矩阵，更新所述权重矩阵的权重参数。本申请的矢量近似更新方法全程无需对稀疏信息进行外部索引，大大降低了稀疏训练过程中的时间开销和能耗开销；在稀疏神经网络更新过程中具有媲美传统的逐个单元更新的精确更新算法的更新精度和训练效果。

公开(公告)号：CN117236398A

公开(公告)日：2023-12-15

申请号：CN202311256510.0

申请日：2023-09-27

Applicant: 南京大学

Inventor： 李丽 ,  孟苑 ,  傅玉祥 ,  薛泳琪 ,  纪津伦 ,  袁江涛 ,  赵启越 ,  戴晨阳 ,  高亨粤 ,  李伟 ,  何书专

IPC: G06N3/065 ,  G06N3/048 ,  G06N3/047 ,  G06N3/0985

Abstract: 本发明公开了一种基于人工神经网络的片上网络延时预测器，包括收集随机硬件映射和与其对应的网络特征值，将硬件映射和网络特征值组成数据集；根据所述数据集设置片上网络延时预测模型的网络结构与训练参数；使用K折交叉验证法训练片上网络延时预测模型，得到模型的最优超参数；使用最优超参数在所有训练数据上重新训练片上网络延时预测模型，得到最终的片上网络延时预测模型；评估最终的片上网络延时预测模型在测试集上的泛化能力。本发明可在使用穷举、启发式、迭代算法探索最优映射时替代片上网络仿真器，快速得到不同输入硬件映射对应所需的延迟时间，辅助最优映射探索，计算成本较低，具有较好的泛化能力与较强的鲁棒性。