-
公开(公告)号：CN114462590A
公开(公告)日：2022-05-10
申请号：CN202111520870.8
申请日：2021-12-13
IPC: G06N3/08 , G06F16/2455
Abstract: 本发明提供了一种重要性感知的深度学习数据缓存管理方法和系统，本发明将缓存分为两个区域分别存储划分的重要样本和不重要样本，同时设置重要性感知的缓存管理模块和动态打包模块分别应答数据请求并对缓存模块的两个缓存区域进行缓存管理，重要性感知的缓存管理模块把越重要的样本优先缓存在内存中，当缓存满的时候，重要性低的样本先逐出，可以提高缓存命中率。对不重要样本使用异步线程使用异步线程进行打包和缓存，同时当不重要的样本缓存缺失时，使用其他的不重要的样本进行替换。从而保证训练样本的多样性且不引入额外开销。与现有技术相比，本发明对模型训练的精度影响可以忽略不计，并且使DNN训练速度是原来的3倍。
-
公开(公告)号：CN112598129A
公开(公告)日：2021-04-02
申请号：CN202110236303.3
申请日：2021-03-03
IPC: G06N3/08
Abstract: 本发明提出了一种基于ReRAM神经网络加速器的可调硬件感知的剪枝和映射框架，该剪枝和映射框架包括DDPG代理器和ReRAM神经网络加速器；所述DDPG代理器由行为决策模块Actor和评判模块Critic组成，其中，行为决策模块Actor用于对神经网络做出剪枝决策；ReRAM神经网络加速器用于映射行为决策模块Actor产生的剪枝决策下形成的模型，并将此剪枝决策下的模型映射的性能参数作为信号反馈给评判模块Critic；所述性能参数包括模拟器的能耗、延迟和模型准确率；评判模块Critic根据反馈的性能参数更新奖励函数值，并指导行为决策模块Actor下一阶段的剪枝决策；本发明方法利用强化学习DDPG代理来做出与硬件和用户需求最匹配、最高效的剪枝方案，在保证准确率的同时，提升了硬件上延迟性能和能耗性能。
-
公开(公告)号：CN119397229A
公开(公告)日：2025-02-07
申请号：CN202411452287.1
申请日：2024-10-17
Applicant: 浙江大学
IPC: G06F18/211 , G06N3/045 , G06N3/042 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种基于交错映射的GCN‑ReRAM顶点特征选择性更新方法。本发明针对利用基于ReRAM的存算一体系统训练图卷积神经网络时，由于度数满足幂律分布的顶点随机分布造成GCN相关写操作的总延迟受限于单位最长写延迟，产生“木桶短板效应”，严重影响加速器性能的问题。本发明考虑了顶点特征的重要性，重要性较高的顶点特征每次反向传播更新，不重要的顶点间隔多次反向传播更新，既减少了Crossbar的写次数，降低了其写延迟，又提高了Crossbar的使用寿命，同时，本方法采用的交错映射方式能够保证每个Crossbar的更新时间一致，防止个别Crossbar更新时间过长降低系统的整体性能。
-
公开(公告)号：CN117610627A
公开(公告)日：2024-02-27
申请号：CN202311624812.9
申请日：2023-11-30
Applicant: 浙江大学
IPC: G06N3/063 , G06N3/092 , G06N3/0464
Abstract: 本发明提供了一种面向DNN模型的Crossbar级异构ReRAM加速器配置方法及系统，本发明面向基于ReRAM的存内计算架构，分析模型层中权重参数与Crossbar大小在性能表现中的关系，提出分层异构的思想；使用强化学习算法自动化进行模型异构配置，在不损失模型精度的情况下，能够有效提升Crossbar利用率，降低系统计算延迟和能耗。
-
公开(公告)号：CN118606761A
公开(公告)日：2024-09-06
申请号：CN202410762037.1
申请日：2024-06-13
Applicant: 浙江大学
IPC: G06F18/24 , G06F18/23213 , G06F18/214 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种重要性感知的深度学习数据预取方法和系统，旨在解决训练数据预取时间长导致的训练性能低下的问题。本发明首先通过训练数据分类模块根据数据的重要性值进行分类，将训练数据自动分为重要性波动大和波动小的两类训练数据；然后通过历史重要值评估模块和实时重要值评估模块来评估数据的重要性值，动态调整数据预取策略，优先加载对模型性能提升有显著作用的重要数据，减少对不重要数据的加载，从而降低数据加载时间，提高训练效率。本发明适用于大规模训练数据集，能够在维持同等水平模型精度的同时，缩短50％的训练时间。
-
Patent Agency Ranking
公开(公告)号：CN114462590B
公开(公告)日：2024-05-10
申请号：CN202111520870.8
申请日：2021-12-13
IPC: G06N3/08 , G06F16/2455
Abstract: 本发明提供了一种重要性感知的深度学习数据缓存管理方法和系统，本发明将缓存分为两个区域分别存储划分的重要样本和不重要样本，同时设置重要性感知的缓存管理模块和动态打包模块分别应答数据请求并对缓存模块的两个缓存区域进行缓存管理，重要性感知的缓存管理模块把越重要的样本优先缓存在内存中，当缓存满的时候，重要性低的样本先逐出，可以提高缓存命中率。对不重要样本使用异步线程使用异步线程进行打包和缓存，同时当不重要的样本缓存缺失时，使用其他的不重要的样本进行替换。从而保证训练样本的多样性且不引入额外开销。与现有技术相比，本发明对模型训练的精度影响可以忽略不计，并且使DNN训练速度是原来的3倍。
-
公开(公告)号：CN114943338A
公开(公告)日：2022-08-26
申请号：CN202210266429.X
申请日：2022-03-17
Abstract: 本发明公开了一种基于访问模式和熵感知的ReRAM推荐系统加速器映射方法及系统，本发明在推荐系统映射之前，对推荐系统负载的数据集进行访问模式的采样分析，充分利用嵌入表的访问模式来聚类嵌入向量，利用嵌入表的熵值来对映射在ReRAM加速器上的嵌入表进行混合量化，使得ReRAM加速器在有限的交叉阵列资源上执行推荐系统模型，解决内存瓶颈问题，从而加速整个推理过程并降低推理能耗。
-
公开(公告)号：CN117521749A
公开(公告)日：2024-02-06
申请号：CN202311355813.8
申请日：2023-10-19
Applicant: 浙江大学
Abstract: 本发明提供了一种基于忆阻器的推荐系统加速器的嵌入查询推理方法，对于输入的一个批次的样本数据batch0，基于嵌入表，分别分析一个批次的样本数据中对应索引元素的冗余现象，去除重复的索引元素，得到新的无冗余样本数据batch1；并建立batch0和batch1之间的映射；基于无冗余样本数据batch1访问存储器进行嵌入表查询和推理，推理完成后，根据原始的样本数据batch0和无冗余样本数据batch1之间的映射，对推理结果进行复制填充至原始的样本数据batch0对应大小，获得最终的原始的样本数据batch0对应的推理结果。本发明通过对输入的样本数据进行分析，去除其中重复的查询索引，构建新的无冗余数据来进行推理，减少了冗余的忆阻器访问，从而提升系统整体的推理性能。
-
公开(公告)号：CN115310605A
公开(公告)日：2022-11-08
申请号：CN202210876872.9
申请日：2022-07-25
Applicant: 浙江大学
Abstract: 本发明提供了一种基于非易失性内存的推荐系统网络高效训练方法及系统，本发明高效利用了非易失性内存的带宽、延迟特性以及非易失特性，最优化推荐系统网络的训练性能。该方法具体为：面向动态内存(DRAM)、非易失性内存(NVM)混合存储架构，利用推荐系统网络中Embedding数据的冷热特性，将数据进行智能摆放，增加数据的访问效率，提高训练的性能；其次，利用非易失特性，设计新型训练模式以及检查点模式，利用双版本持久化技术与增量、并行优化技术，进一步提升系统性能，降低NVM寿命的损耗。
-
公开(公告)号：CN112379849B
公开(公告)日：2021-04-09
申请号：CN202110062697.5
申请日：2021-01-18
Abstract: 本发明提出了一种基于序列可预测的并行深度学习训练数据输入方法，该方法在数据预取和缓存的时候，充分利用数据的访问序列可以预先确定这一特点，结合缓存命中率以及磁盘访问性能确定从底层并行文件系统中预取数据时的预取数据块大小再进行数据分配和缓存，从而使得大规模训练中第一轮训练的本地命中率得到很大提升。之后轮的训练中采用数据请求合并、根据下一轮将要使用的数据提前进行缓存替换，使整体分布式训练过程的通信开销减小，从而加快各节点的数据输入速度。本发明还基于上述方法提出了一种数据输入系统，该系统包括随机序列产生模块、数据预取模块和缓存替换模块，可以在保证全局数据随机读取的要求下，加快数据从存储中读取的速度。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.013 seconds)
