一种代价模型训练的方法、装置、存储介质及电子设备

    公开(公告)号:CN116304720B

    公开(公告)日:2023-08-25

    申请号:CN202310564363.7

    申请日:2023-05-18

    Abstract: 本说明书公开了一种代价模型训练的方法、装置、存储介质及电子设备。本方法使用各算子的特征以及各硬件平台的特征构造训练样本,并针对每个算子,将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层,通过各硬件平台对应的门控网络层的加权矩阵,确定训练样本对应各硬件平台的预测运行时间,根据预测运行时间与实际运行时间之间的差异训练代价模型。通过将各硬件平台的特征加入训练样本、在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式,训练得到适用于多个硬件平台的代价模型。

    一种卫星上部署智能算法的方法、装置、存储介质及设备

    公开(公告)号:CN118331591B

    公开(公告)日:2024-09-20

    申请号:CN202410748131.1

    申请日:2024-06-11

    Abstract: 本说明书公开了一种卫星上部署智能算法的方法、装置、存储介质及设备。该方法包括:获取待部署智能算法的算法信息,以及目标卫星上设置的各计算设备所对应的设备信息;基于算法信息和设备信息,确定计算环境信息,并确定各数据流阶段、设备类型、设备资源以及开发资源之间的至少一种约束关系信息,基于环境信息和约束关系确定初始部署策略,并确定初始部署策略所对应的奖励值,根据该奖励值对初始部署策略进行调整,以此实现对算法部署策略的不断调整和优化。本方案在星上硬件设备具有异构特性的基础上,逐步对初始策略进行调整,从而探索出最优的部署策略,提高智能算法在卫星上的性能和效率,降低资源消耗和能耗。

    一种深度学习编译器的图优化序列生成方法及装置

    公开(公告)号:CN116991388B

    公开(公告)日:2024-01-09

    申请号:CN202311252630.3

    申请日:2023-09-26

    Abstract: 本申请公开了一种深度学习编译器的图优化序列生成方法及装置,通过预先训练完成的序列生成模型,根据目标模型的图中间表示,确定各优化策略分别对应的优化特征,再通过序列生成模型的解码器,确定各排位分别对应的排位特征,进而基于各排位特征和各优化特征之间的相关度,确定各排位分别对应的优化策略,以此来确定目标序列。本申请可根据各优化策略确定出各排位分别对应的排位特征,以此来确定出各排位分别匹配的优化策略,使得确定出的目标序列中包含的优化策略与其对应的排位互相匹配,进而保证基于该目标序列优化得到的目标模型的业务执行效率。

    一种算子调用代码自动生成的方法、装置、介质及设备

    公开(公告)号:CN116932092B

    公开(公告)日:2024-01-09

    申请号:CN202311202669.4

    申请日:2023-09-18

    Abstract: 本说明书公开了一种算子调用代码自动生成的方法、装置、介质及设备。所述方法包括:获取后端硬件平台对应的算子库基本信息以及目标深度学习算法的计算图;根据算子库基本信息生成算子调用代码的代码头;对计算图进行解析,确定计算图中的各前端算子;针对每个前端算子,根据该前端算子与算子调用模板之间的映射关系,确定该算子对应算子调用模板的声明语句以及模板函数的调用语句;根据代码头、声明语句、调用语句以及该算子对应的配置信息,生成完整的后端算子的调用代码;根据每个后端算子的调用代码调用各后端算子,以通过各后端算子执行计算任务。(56)对比文件丁然;林建文;朱振华;刘弋波.一种类CPU的深度学习协处理器架构.中国集成电路.2020,(第Z4期),全文.王秉睿;兰慧盈;陈云霁.深度学习编程框架.大数据.2018,(第04期),全文.傅鹂;鲁先志;蔡斌.一种基于数据流驱动的数据流连续查询模型.重庆工学院学报(自然科学版).2008,(第10期),全文.

    一种高性能算子选择的动态决策方法及装置

    公开(公告)号:CN117171577A

    公开(公告)日:2023-12-05

    申请号:CN202311450171.X

    申请日:2023-11-02

    Abstract: 本说明书公开了一种高性能算子选择的动态决策方法及装置,包括:在选择模型中特定算子应该由算子库中具体的哪一个算子实现时,需要定位到模型中特定算子的shape特征的特征区间下,并确定该特征区间下的性能排序子表是否被更新过,若是,则可以直接通过该特征区间下更新好的性能排序子表选取出目标算子,若还未更新,则在模型训练阶段可以在每一轮训练时选取不同的算子在模型中进行训练,从而得到算子的性能分数,对性能排序子表进行更新,那么在后续训练这个模型(或者其他模型中需要相同特征区间下的shape特征的算子)时,可以直接使用该性能排序子表选取出合适的算子,从而相比于现有技术能够更加准确的选择出性能良好的算子。

    一种生成存内计算神经网络模型的方法、装置及介质

    公开(公告)号:CN117077726A

    公开(公告)日:2023-11-17

    申请号:CN202311344094.X

    申请日:2023-10-17

    Abstract: 本申请公开了一种生成存内计算神经网络模型的方法,首先根据待构建的神经网络模型的目标任务,根据历史执行所述目标任务的任务数据作为训练样本,以及将目标任务的执行结果作为标注,之后通过对量化可微超网络的模型结构进行初始化,确定模型各节点之间数据传递顺序的有向无环图,确定架构参数以及权重参数,依该有向无环图的顺序,通过训练样本对权重参数进行调整,然后通过调整后的权重参数配置的模型,调整架构参数,得到存内运行的神经网络模型。通过权值继承,实现了可交替优化的两种参数,分别通过有监督训练和启发式学习进行调整,使得可以更为高效的学习深度神经网络架构。

    一种深度学习编译器的图优化序列生成方法及装置

    公开(公告)号:CN116991388A

    公开(公告)日:2023-11-03

    申请号:CN202311252630.3

    申请日:2023-09-26

    Abstract: 本申请公开了一种深度学习编译器的图优化序列生成方法及装置,通过预先训练完成的序列生成模型,根据目标模型的图中间表示,确定各优化策略分别对应的优化特征,再通过序列生成模型的解码器,确定各排位分别对应的排位特征,进而基于各排位特征和各优化特征之间的相关度,确定各排位分别对应的优化策略,以此来确定目标序列。本申请可根据各优化策略确定出各排位分别对应的排位特征,以此来确定出各排位分别匹配的优化策略,使得确定出的目标序列中包含的优化策略与其对应的排位互相匹配,进而保证基于该目标序列优化得到的目标模型的业务执行效率。

    一种算子调用代码自动生成的方法、装置、介质及设备

    公开(公告)号:CN116932092A

    公开(公告)日:2023-10-24

    申请号:CN202311202669.4

    申请日:2023-09-18

    Abstract: 本说明书公开了一种算子调用代码自动生成的方法、装置、介质及设备。所述方法包括:获取后端硬件平台对应的算子库基本信息以及目标深度学习算法的计算图;根据算子库基本信息生成算子调用代码的代码头;对计算图进行解析,确定计算图中的各前端算子;针对每个前端算子,根据该前端算子与算子调用模板之间的映射关系,确定该算子对应算子调用模板的声明语句以及模板函数的调用语句;根据代码头、声明语句、调用语句以及该算子对应的配置信息,生成完整的后端算子的调用代码;根据每个后端算子的调用代码调用各后端算子,以通过各后端算子执行计算任务。

    一种基于搜索的深度学习模型部署方法及装置

    公开(公告)号:CN116306856B

    公开(公告)日:2023-09-05

    申请号:CN202310557259.5

    申请日:2023-05-17

    Abstract: 本说明书公开了一种基于搜索的深度学习模型部署方法及装置,可以获取深度学习模型所对应的计算图,确定计算图中包括的算子,并确定每个算子匹配的硬件资源,而后,根据各算子匹配的硬件资源,构建搜索空间,从搜索空间中选取出目标样本,并确定目标样本对应的运行时长,以及确定目标样本对应的邻域样本,并确定邻域样本对应的运行时长,若邻域样本对应的运行时长短于目标样本的运行时长,将邻域样本作为重新确定出的目标样本,并继续确定目标样本对应的邻域样本以及对应的运行时长,直到满足预设迭代终止条件为止,按照目标样本所对应的分配方案,对深度学习模型的算子进行硬件资源的分配,以进行部署,本方法可以提高深度学习模型的计算效率。

Patent Agency Ranking