一种生成存内计算神经网络模型的方法、装置及介质

    公开(公告)号:CN117077726B

    公开(公告)日:2024-01-09

    申请号:CN202311344094.X

    申请日:2023-10-17

    Abstract: 本申请公开了一种生成存内计算神经网络模型的方法,首先根据待构建的神经网络模型的目标任务,根据历史执行所述目标任务的任务数据作为训练样本,以及将目标任务的执行结果作为标注,之后通过对量化可微超网络的模型结构进行初始化,确定模型各节点之间数据传递顺序的有向无环图,确定架构参数以及权重参数,依该有向无环图的顺序,通过训练样本对权重参数进行调整,然后通过调整后的权重参数配置的模型,调整架构参数,得到存内运行的神经网络模型。通过权值继承,实现了可交替优化的两种参数,分别通过有监督训练和启发式学习进行调整,使得可以更为高效的学习深度神经网络架构。

    一种模型训练和编译器自动调优的方法、装置及设备

    公开(公告)号:CN116860259B

    公开(公告)日:2023-12-19

    申请号:CN202311138278.0

    申请日:2023-09-05

    Abstract: 本说明书公开了一种模型训练和编译器自动调优的方法、装置及设备。所述模型训练的方法包括:获取目标程序,并确定编译器对该目标程序进行编译时的各优化序列;确定出初始优化序列并生成当前样本点,以及,确定初始优化序列对所述目标程序进行编译的第一运行时间;生成邻域样本点,并确定邻域样本点对目标程序进行编译的第二运行时间;判断第一运行时间是否大于第二运行时间,若是,将邻域样本点作为当前样本点;在达到指定迭代次数后,确定运行时间小于预设时间的若干个各候选优化序列,并根据各候选优化序列构建训练样本;通过构建的训练样本对预测模型进行训练。

    计算机程序的编译调优方法、装置和存储介质

    公开(公告)号:CN116991429A

    公开(公告)日:2023-11-03

    申请号:CN202311266395.5

    申请日:2023-09-28

    Abstract: 本申请涉及一种计算机程序的编译调优方法、装置和存储介质,其中,该编译调优方法包括:选择样本硬件集合和样本程序集合并为每个样本程序随机生成优化序列,对每种样本程序与优化序列的组合进行编译、特征抽取以及运行,得到训练数据集,基于训练数据集对预设的多任务学习模型进行训练,得到预训练模型,基于预训练模型进行成本函数模型的初始化,得到目标成本函数模型,利用该目标成本函数模型对目标源程序进行调优,得到目标源程序的最优优化序列。通过本申请,解决了相关技术中计算机程序编译调优效率低下的问题,提高了计算机程序的编译调优效率。

    基于人工智能的编译器自动调优方法及装置

    公开(公告)号:CN116931955A

    公开(公告)日:2023-10-24

    申请号:CN202311202659.0

    申请日:2023-09-18

    Abstract: 本说明书公开了基于人工智能的编译器自动调优方法及装置,在此方法中,将程序输入到模型中得到各优化序列,编译器针对每个优化序列对程序进行编译运行得到实际运行时间,据此来调整智能体模型输出各优化序列的概率,使得训练后的智能体模型能够输出最优的优化序列,而编译器使用最优优化序列对待运行程序进行编译优化,从而在一定程度上提高运行效率和减少资源浪费。

    一种数据处理的方法、装置、存储介质以及电子设备

    公开(公告)号:CN116415103B

    公开(公告)日:2023-09-05

    申请号:CN202310681557.5

    申请日:2023-06-09

    Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质以及电子设备,可以读取存储在指定设备内存的目标数据,并确定目标数据的各数据维度,可以根据目标数据的各数据维度,确定各种候选数据拆分方式,以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值,并根据每种候选数据拆分方式对应的效率值,确定目标数据拆分方式,其中,针对每种候选数据拆分方式,该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度,数据处理单元可以包括:指定设备中的寄存器以及各级缓存。以按照目标数据拆分方式,对神经网络模型中的待处理数据进行数据处理,从而能够提高神经网络模型中矩阵运算的效率。

    一种模型部署方法、装置、存储介质及电子设备

    公开(公告)号:CN119883295A

    公开(公告)日:2025-04-25

    申请号:CN202510386144.3

    申请日:2025-03-31

    Abstract: 本说明书公开了一种模型部署方法、装置、存储介质及电子设备。所述方法包括:获取针对业务模型的初始部署策略组,初始部署策略组包括两种部署策略;将初始部署策略组中各部署策略的特征编码输入预先训练的代理模型,确定各部署策略在处理设备上的性能分布信息;利用预设的标签分布调整输入其中的至少一项输入,在输出的性能分布信息与标签分布之间的差异满足设定要求的情况下,得到调整后的部署策略组;在调整后的部署策略组中确定目标部署策略,并基于目标部署策略对业务模型进行部署。本方案降低了对模型部署策略进行探索的时间损耗,提高了模型部署效率。

    用于存储数据集的方法、系统及用于训练模型的方法

    公开(公告)号:CN118502681B

    公开(公告)日:2024-10-18

    申请号:CN202410975313.2

    申请日:2024-07-19

    Abstract: 本申请涉及用于存储数据集的方法、系统及用于训练模型的方法。该存储方法包括:获得低速存储设备的平均传输速率;根据训练程序中一次迭代的时间、训练程序的总迭代次数及平均传输速率,获得数据集中用于存储至低速存储设备的低速子集,其中,数据集用于训练模型;以及确定数据集中需要存储在高速存储设备的高速子集,高速子集用于支持训练程序的启动训练。采用本方法能够使高速存储设备和低速存储设备构成的系统的总体成本较低;并能保证有效地支持模型的训练。

    一种训练图像分类模型的系统、方法、装置、介质及设备

    公开(公告)号:CN118570560B

    公开(公告)日:2024-09-27

    申请号:CN202411044024.7

    申请日:2024-07-31

    Abstract: 本说明书公开了一种训练图像分类模型的系统、方法、装置、介质及设备,代理节点通过数据分发模型确定训练数据的分发策略,根据分发策略为各训练节点分发训练数据。各训练节点缓存训练数据,在接收到训练任务时,先从本地缓存中获取执行训练任务所需要的训练数据,当本地缓存中的训练数据不能与执行训练任务所需要的训练数据匹配时,再获取执行训练任务所需要的且未在本地缓存的其他训练数据,从而完成训练任务。各训练节点在执行训练任务时,可确定本地缓存命中率并返回给代理节点。代理节点基于各训练节点的本地缓存命中率调整数据分发模型的参数,从而优化分发策略,以提高训练节点中训练数据的本地缓存命中率,提高图像分类模型的训练效率。

    一种模型训练加速方法、装置及存储介质

    公开(公告)号:CN118468045A

    公开(公告)日:2024-08-09

    申请号:CN202410937902.1

    申请日:2024-07-12

    Abstract: 本说明书公开了一种模型训练加速方法、装置及存储介质,本方法用于在存算分离模式下使用重要性采样方法进行训练的目标模型的训练样本。通过在存储层级预测模型中设置特征重构模块及长短期记忆网络模块,利用特征重构模块,对训练样本被访问信息的特征参数进行特征重构,使得存储层级预测模型充分学习被访问信息的特征。之后,利用长短期记忆网络克服了梯度消失和梯度爆炸的问题。那么,将重构特征输入长短期记忆网络模块,得到预测结果。根据预测结果及标签,对存储层级预测模型进行训练,提高了存储层级预测模型的预测目标模型所需的训练样本的存储层级的准确率,进而提高了上级缓存命中率,加速目标模型训练。

    一种基于硬件特征的算子调度方案自动搜索方法与系统

    公开(公告)号:CN117950645B

    公开(公告)日:2024-08-02

    申请号:CN202410339678.6

    申请日:2024-03-25

    Abstract: 本发明提供一种基于硬件特征的算子调度方案自动搜索方法与系统。该方法是通过获取算子输入数据的维度信息、目标硬件的硬件特征以及包含各存储层级的容量和硬件指令支持情况;再根据目标硬件的存储层级从高到低,递归地在每一个层级上,基于贪心策略搜索该层级可接受的最佳可行的数据搬运方案;其中各层级的数据搬运方案共同构成算子的调度方案;最后进行性能评估。基于搜索到的若干个算子调度方案,通过CodeGen技术生成目标硬件上的若干个算子实现,进而在硬件上测试选出性能最优的算子调度方案。因此,本发明的技术方案能够节省算力的情况下保证算子调度的优化。

Patent Agency Ranking