一种模型权重获取方法以及相关系统

    公开(公告)号:CN116090538A

    公开(公告)日:2023-05-09

    申请号:CN202111307019.7

    申请日:2021-11-05

    Abstract: 本申请提供了一种模型权重获取方法,包括:获取第一神经网络模型的结构信息,根据第一神经网络模型的结构信息,从存储有多组历史权重的权重库中搜索获得参考权重,参考权重为多组历史权重中与第一神经网络模型的结构相似的第二神经网络模型的权重,对参考权重进行转换,获得第一神经网络模型的权重。该方法通过搜索权重库中与待训练的神经网络模型的结构相似的神经网络模型的权重,并对该权重进行转换,从而获得待训练的神经网络模型可用的权重,无需从头开始进行模型训练,提高了模型训练效率。

    一种任务调度方法及装置
    2.
    发明公开

    公开(公告)号:CN115269131A

    公开(公告)日:2022-11-01

    申请号:CN202110485859.6

    申请日:2021-04-30

    Abstract: 本申请提供一种任务调度方法及装置,其方法包括:获取目标主队列对应的一个或多个从队列的长度,并根据一个或多个从队列的长度将目标主队列中的任务的数据包调度至一个或多个从队列中的一个或多个从队列。计算设备可以根据从队列的长度来派发任务,避免任务分配不均匀,导致任务在一个计算单元处堆积,阻塞,本申请提供的方法不需要预编排多个工作流程,便可以实现让多个计算单元同步进行运算,提高计算单元的利用率,并且不需要测试计算单元的算力,可以简化业务流程,减少时延。

    一种数据处理方法和相关设备
    3.
    发明公开

    公开(公告)号:CN118152505A

    公开(公告)日:2024-06-07

    申请号:CN202211520623.2

    申请日:2022-11-30

    Abstract: 本申请实施例公开了一种数据处理方法和相关设备,用于为目标模型确定较优的参数量切分方法。在本申请中,首先获取第一查询表,第一查询表包括多个随机编码及其在目标模型在M个模型训练设备中的运行时长,多个随机编码中的任意一个表征M个模型训练设备对目标模型的参数量切分方式,M为正整数。接着,基于第一查询表进行机器学习,得到运行时长预测器,运行时长预测器用于基于输入的随机编码预测在目标模型中输出的运行时长。最后,以第一查询表为输入,以运行时长更短为目标,基于预设的进化算法对多个随机编码进行编码搜索,从而得到运行时长较短的目标随机编码,即确定了可以高效运行的M个模型训练设备对目标模型的参数量切分方式。

    一种深度学习模型检测方法、装置、设备及存储介质

    公开(公告)号:CN115248816A

    公开(公告)日:2022-10-28

    申请号:CN202110466770.5

    申请日:2021-04-28

    Abstract: 本申请提供了一种深度学习模型检测方法。深度学习模型检测装置根据待检测深度学习模型的目标网络结构,从一个或者多个候选深度学习模型中查找目标深度学习模型,其中,该目标深度学习模型的网络结构与待检测深度学习模型的目标网络结构相匹配;深度学习模型检测装置输出查找结果。由于获取待检测深度学习模型的目标网络结构的难度通常较低,因此,相对于根据深度学习模型的实现算法确定深度学习模型之间是否相同或相似的实现方式而言,根据深度学习模型的网络结构查找目标深度学习模型的方式,可以有效降低检测难度,根据网络结构进行模型检测的准确率也可以达到较高水平。

    一种图校验方法及相关设备
    5.
    发明公开

    公开(公告)号:CN115221494A

    公开(公告)日:2022-10-21

    申请号:CN202110404484.6

    申请日:2021-04-14

    Inventor: 刘畅 彭瑞林 李亿

    Abstract: 本发明实施例公开了一种图校验的方法及相关设备,其特征在于,应用于图计算引擎,图计算引擎包括M个计算节点;M个计算节点中的每个计算节点对应默认输入数据类型和默认输出数据类型;M个计算节点包括第一计算节点和第二计算节点,第一计算节点的实际输出数据的目标节点为第二计算节点;该方法包括:判断第一计算节点对应的第一默认输出数据类型与第二计算节点对应的第二默认输入数据类型是否相同;若不同,判断第一默认输出数据类型是否为第二默认输入数据类型的后代类型;若第一默认输出数据类型是第二默认输入数据类型的后代类型,则将第二计算节点确定为合法节点。采用本发明实施例可以对计算节点间的连接进行校验,提升用户体验。

    一种模型训练方法以及相关设备
    6.
    发明公开

    公开(公告)号:CN120012835A

    公开(公告)日:2025-05-16

    申请号:CN202510492694.3

    申请日:2025-04-18

    Abstract: 本申请实施例公开了一种模型训练方法,该方法中,可以根据第一模型中的预设注意力模块的模型参数与第二模型中的MLA模块中的模型参数的相关性,将预设注意力模块中的模型权重变换为MLA模块的初始化的模型权重,以将预设注意力模块中的知识迁移至初始化后的MLA模块中,为初始化后的第二模型提供较好的知识基础,然后对MLA模块进行微调等小规模的训练即可获得性能较好的训练后的第二模型,而无需对第二模型从零开始执行完整的全流程训练过程,大大提升对第二模型的训练效率。

    模型推理方法、云平台、设备和存储介质

    公开(公告)号:CN116010067A

    公开(公告)日:2023-04-25

    申请号:CN202111223481.9

    申请日:2021-10-20

    Inventor: 练韵文 李亿 刘畅

    Abstract: 本申请提供了一种模型推理的方法、云平台、设备和存储介质,属于人工智能技术领域。该方法包括:获取模型切分得到的第一子模型和第二子模型,设置第一实例集,第一实例集包括分别加载第一子模型的多个第一实例,设置第二实例集,第二实例集包括分别加载第二子模型的多个第二实例,为第一实例集设置第一负载均衡器,第一负载均衡器用于将多个推理样本分发至第一实例集中的多个第一实例进行模型推理,以产生多个第一推理结果,为第二实例集设置第二负载均衡器,第二负载均衡器用于将该多个第一推理结果分发至第二实例集中的多个第二实例进行模型推理。采用本申请,每个子模型由多个实例加载,使得模型推理的可靠性较高。

    神经网络优化方法及其装置
    8.
    发明公开

    公开(公告)号:CN115409168A

    公开(公告)日:2022-11-29

    申请号:CN202110596002.1

    申请日:2021-05-29

    Abstract: 本申请公开了一种神经网络优化方法及其装置,属于人工智能AI技术领域。该方法包括:接收待优化神经网络的模型文件;基于待优化神经网络的模型文件,获取目标神经网络架构的搜索空间,搜索空间包括目标神经网络架构中各神经元的各属性的取值范围;基于搜索空间,获得目标神经网络架构;基于待优化神经网络的模型文件对目标神经网络架构进行训练,得到目标神经网络的模型文件;向用户提供目标神经网络的模型文件。本申请能够有效提高优化后的神经网络的性能。

    处理业务数据的方法、装置、计算设备和存储介质

    公开(公告)号:CN115080028A

    公开(公告)日:2022-09-20

    申请号:CN202110272525.0

    申请日:2021-03-12

    Abstract: 本申请提供了一种处理业务数据的方法、装置、计算设备和存储介质,属于数据处理技术领域。该方法应用于业务处理系统,该业务处理系统包括基础逻辑框架和目标业务处理逻辑,该方法包括:基础逻辑框架获取业务数据,记录业务数据的索引信息,基础逻辑框架将业务数据展开为至少一个子数据,记录至少一个子数据中每个子数据的索引信息,每个子数据的索引信息与业务数据的索引信息相关联。基础逻辑框架将至少一个子数据输入至目标业务处理逻辑,根据目标业务处理逻辑获得每个子数据的处理结果,基础逻辑框架根据每个子数据的索引信息记录每个子数据的处理结果的索引信息。采用本申请,可以降低业务处理逻辑的开发和编写的复杂性。

    一种分布式训练方法、系统及装置

    公开(公告)号:CN117395186A

    公开(公告)日:2024-01-12

    申请号:CN202210756779.4

    申请日:2022-06-29

    Abstract: 一种分布式训练方法、系统及装置,用于解决现有技术中交换机传输链路拥塞,导致传输数据较慢的问题。方法包括:管理节点获取网络拓扑,其中,网络拓扑包括核心交换机和计算集群中的计算节点的连通关系,随后,管理节点根据网络拓扑,确定N个计算节点之间的通信规划;其中,N个计算节点是计算集群中用于分布式训练目标模型的计算节点;通信规划包括多条组间路径,对于多条组间路径中的每条组间路径:组间路径包括N个计算节点中、属于不同分组的两个计算节点,以及用于连通两个计算节点的核心交换机,组间路径用于传输组间路径中两个计算节点之间的数据;多条组间路径分别传输的数据量符合预设条件;M和N均为大于2的整数。

Patent Agency Ranking