公开(公告)号：CN115470889A

公开(公告)日：2022-12-13

申请号：CN202211054665.1

申请日：2022-08-31

Applicant: 南京大学

Inventor： 傅玉祥 ,  薛泳琪 ,  李丽 ,  纪津伦 ,  李心怡 ,  黎思越 ,  周世泽 ,  程童 ,  李伟 ,  何书专

IPC: G06N3/04 ,  G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种基于强化学习的片上网络自主最优映射探索系统及方法。本发明采用强化学习算法，结合软约束和硬约束，将硬件映射配置问题转化为序列决策问题，得到片上网络加速器的自主最优映射探索系统。对比传统的X/Y方向映射、基于神经网络感知算法映射与基于遗传算法的映射，本发明通过强化学习算法对策略网络与价值网络进行训练，提供的最优硬件映射在通信延迟指标与平均通信吞吐率指标上有不同程度的优化。

公开(公告)号：CN119474000A

公开(公告)日：2025-02-18

申请号：CN202411507882.0

申请日：2024-10-28

Applicant: 南京大学

Inventor： 傅玉祥 ,  刘传柱 ,  黎思越 ,  范文杰 ,  张恒 ,  戴晨阳 ,  李丽 ,  李伟 ,  何书专

IPC: G06F15/78 ,  G06F15/173 ,  G06F7/544 ,  G06N3/063 ,  G06N3/0464

Abstract: 本发明涉及近似片上网络技术领域，公开了一种面向卷积神经网络加速的高实时性近似片上网络，结合神经网络的数据分布情况，提出基于数据分级的近似压缩和分段恢复方案，实现在降低通信开销的同时，保持神经网络推理精度；并提出一个质量控制模型，该模型能够快速搜索出满足质量损失约束的神经网络各层阈值，确保网络在进行近似通信的同时保持准确性；进一步提出基于拥塞感知的阈值动态调整方案，通过感知网络中的拥塞情况，动态调整每一层的近似阈值，以实现对数据压缩率的实时优化，从而有效缓解通信网络中的拥塞问题；结合近似通信后网络中的激活数据分布特征，优化计算阵列中的近似计算模块，提升计算阵列的整体效率，实现计算加速。

公开(公告)号：CN117311663A

公开(公告)日：2023-12-29

申请号：CN202311305768.5

申请日：2023-10-10

Applicant: 南京大学

Inventor： 傅玉祥 ,  戴晨阳 ,  李丽 ,  刘传柱 ,  朱凌晓 ,  范文杰 ,  高亨粤 ,  赵启越 ,  袁江涛 ,  黎思越

IPC: G06F7/498 ,  G06N3/063 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公开了一种基于神经网络激活分布的可重构近似乘累加单元，具体包括乘法模块，包括：编码器，将神经网络的激活输入和权重输入进行radix‑8 booth编码，生成对应的部分积选择信号；部分积生成器，根据部分积选择信号，生成部分积；第一加法器，将部分积按照从上到下的顺序进行累加，得到乘法结果；加法模块，包括：分类器，根据所述乘法结果的高位进行分类，分为大数和小数；压缩器，将大数进行精确压缩，将小数进行近似压缩；第二加法器，将压缩结果通过第二加法器相加，得到卷积结果。本发明在不损失太多精度的前提下有效地减少神经网络中计算单元的功耗和延时，并且能够动态的适应不同的网络类型，有着良好的实际应用价值。

公开(公告)号：CN117076380A

公开(公告)日：2023-11-17

申请号：CN202311043803.0

申请日：2023-08-18

Applicant: 南京大学

Inventor： 李丽 ,  范文杰 ,  傅玉祥 ,  黎思越 ,  袁江涛 ,  朱凌晓 ,  李伟 ,  何书专

IPC: G06F15/173 ,  G06N3/063

Abstract: 本发明公开了一种面向基于片上网络的神经网络加速器的同步感知仲裁模块，包括优先级产生模块，集成在处理单元中，接收数据包发送有效信号，根据处理单元的剩余数据包数目为数据包分配优先级，生成对应的层标识；同步感知仲裁模块，集成在路由器中，接收数据包携带的优先级和层标识，进行层间通信同步感知仲裁。本发明针对基于片上网络的神经网络加速器中由多对一和多对多流量带来的通信同步问题，通过相邻层数据包的同步感知优先级仲裁实现了对源节点的反压调控，通过负反馈机制动态调节各个源节点的发包速率，实现层与层之间的通信同步，减小了层与层之间的传输延迟，并最终减少了神经网络的总推理时间。

公开(公告)号：CN115277563B

公开(公告)日：2024-03-19

申请号：CN202210636087.6

申请日：2022-06-07

Applicant: 南京大学

Inventor： 傅玉祥 ,  黎思越 ,  李丽 ,  周世泽 ,  薛泳琪 ,  纪津伦 ,  程童 ,  何书专 ,  李伟

IPC: H04L47/12 ,  H04L47/32 ,  H04L47/38 ,  H04L45/028

Abstract: 本发明公开了一种基于离线强化学习的片上网络近似控制系统。本发明采用离线强化学习算法，利用软硬件协同手段，在软件端训练，在硬件端部署；片上网络中设置全局近似控制器用来部署决策神经网络；其余节点利用局部数据控制器根据全局近似控制器的发送的信息调整数据近似率。本发明通过离线强化学习算法对决策网络进行训练，将训练完成的决策网络部署至硬件中，能在不同的应用条件下感知网络拥塞状态，动态调整数据近似率使得网络在传输质量和网络性能两者之间达到良好平衡。

公开(公告)号：CN115277563A

公开(公告)日：2022-11-01

申请号：CN202210636087.6

申请日：2022-06-07

Applicant: 南京大学

Inventor： 傅玉祥 ,  黎思越 ,  李丽 ,  周世泽 ,  薛泳琪 ,  纪津伦 ,  程童 ,  何书专 ,  李伟

IPC: H04L47/12 ,  H04L47/32 ,  H04L47/38 ,  H04L45/028

Abstract: 本发明公开了一种基于离线强化学习的片上网络近似控制系统。本发明采用离线强化学习算法，利用软硬件协同手段，在软件端训练，在硬件端部署；片上网络中设置全局近似控制器用来部署决策神经网络；其余节点利用局部数据控制器根据全局近似控制器的发送的信息调整数据近似率。本发明通过离线强化学习算法对决策网络进行训练，将训练完成的决策网络部署至硬件中，能在不同的应用条件下感知网络拥塞状态，动态调整数据近似率使得网络在传输质量和网络性能两者之间达到良好平衡。