一种分布式模型训练系统及方法

    公开(公告)号:CN118396140B

    公开(公告)日:2024-09-13

    申请号:CN202410849948.8

    申请日:2024-06-27

    Abstract: 本说明书公开了一种分布式模型训练系统及方法,第二计算节点基于适应度函数确定各树型结构模型的当前适应度,选择目标树型结构模型,第一计算节点选择参考树型结构模型,根据参考树型结构模型和目标树型结构模型,生成进化操作执行任务,将其分配给各第二计算节点,使其执行各进化操作执行任务,得到更新后的树型结构模型,第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型,并以此构建当前待训练模型,迭代多次直到满足第一预设条件,得到训练完成的目标模型。可见,上述方案实现了基于大型计算集群的分布式训练的适配,解决了大型树型模型占用计算资源高的问题,提升了大型树型模型的训练效率。

    一种工业领域的数据存储方法、装置及设备

    公开(公告)号:CN117666971B

    公开(公告)日:2024-04-30

    申请号:CN202410136688.X

    申请日:2024-01-31

    Abstract: 在本说明书提供的一种工业领域的数据存储方法、装置及设备中,通过响应于训练目标模型的原始数据的存储请求,确定目标模型的模型类型、训练完成的回归模型以及若干待选存储地址。针对每个待选存储地址,将原始数据、第一公式以及该待选存储地址输入回归模型,得到该待选存储地址的训练效果;根据各待选存储地址的训练效果,从各待选存储地址中,确定目标存储地址,并将原始数据存储至目标存储地址。通过计算存储请求中原始数据的不同待存储地址的训练效果,确定原始数据的目标存储地址,并将原始存储至目标存储地址,达到了根据数据训练的效果的对数据进行存储的目标。

    一种任务执行方法、装置、存储介质及电子设备

    公开(公告)号:CN117370536B

    公开(公告)日:2024-03-12

    申请号:CN202311673949.3

    申请日:2023-12-07

    Abstract: 本说明书公开了一种任务执行方法、装置、存储介质及电子设备。可以将用户输入的指定文本输入到预先训练的语言模型中,以通过语言模型确定指定文本对应的文本特征表示,并可以确定每个候选问题文本特征表示与文本特征表示之间的相关度,以根据相关度,从各候选问题文本特征表示中确定出与文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,并根据目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值,确定是否向用户请求补充文本信息,以及是否将预先确定的目标问题文本特征表示对应的回复文本,作为指定文本对应的目标回复文本回复给用户。

    一种多模态哈希检索方法及装置

    公开(公告)号:CN115982403B

    公开(公告)日:2024-02-02

    申请号:CN202310085564.9

    申请日:2023-01-12

    Abstract: 本发明公开了一种多模态哈希检索方法及装置,该方法包括:获取带有标签的训练数据集;构建带有Transformer Encoder模块的多模态神经网络;根据所述训练数据集中的每个多模态数据经过所述多模态神经网络生成的哈希码与该多模态数据对应的标签,设计目标损失函数;根据所述目标损失函数,采用梯度下降法更新所述多模态神经网络的参数,以训练所述多模态神经网络;获取多模态原始数据并对所述多模态原始数据进行特征工程加工;将加工后的多模态原始数据输入训练后的多模态神经网络中,生成多模态哈希码;利用所述多模态哈希码,进行哈希检索。该方法使用Transformer网络实现多模态特征融合,与单模态哈希表示学习相比,检索的平均准确率(mAP)更高。

    一种模型数据的存储方法、装置、存储介质及电子设备

    公开(公告)号:CN116185307A

    公开(公告)日:2023-05-30

    申请号:CN202310448220.X

    申请日:2023-04-24

    Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括:接收模型数据的存储请求并获取模型数据,确定所述模型数据的属性信息,根据所述属性信息,确定所述模型数据对应的存储位置,若所述存储位置位于所述AI加速器的本地存储单元,则确定与所述属性信息相匹配的压缩方式,作为目标压缩方式,通过所述目标压缩方式对所述模型数据进行压缩,并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置,以及若所述存储位置位于所述AI加速器的远端存储单元,则将所述模型数据存储在所述远端存储单元中的所述存储位置。

    一种模型训练系统、方法、存储介质及电子设备

    公开(公告)号:CN118378726B

    公开(公告)日:2024-09-20

    申请号:CN202410830397.0

    申请日:2024-06-25

    Abstract: 本说明书公开了一种模型训练系统、方法、存储介质及电子设备,可以通过前向梯度传播的方式,即,在前向传播过程中,针对待训练模型的每层网络层的输出值和在待训练模型中位于该网络层的上一网络层的输出值,计算该网络层的梯度值,并基于该网络层的梯度值对该网络层的模型参数进行调整,从而可以使得在通过中央处理器确定每层网络层的模型参数后,即可将上一层网络层的输出值以及该网络层的梯度值删除,进而可以有效减少针对待训练模型进行训练过程中对于存储资源的占用。

    一种计算集群温度告警方法、装置、存储介质及电子设备

    公开(公告)号:CN118394607B

    公开(公告)日:2024-09-03

    申请号:CN202410849946.9

    申请日:2024-06-27

    Abstract: 本说明书公开了一种计算集群温度告警方法、装置、存储介质及电子设备,包括:获取各服务器的核心芯片的硬件温度,将各硬件温度输入各服务器对应的预先训练的服务器告警模型,确定各服务器分别对应的第一状态。确定通过各传感器采集到的环境温度,并将各第一状态和各环境温度输入预先训练的集群告警模型,确定计算集群对应的告警状态,并根据告警状态,对计算集群进行温度告警。通过具有可解释性的多规则的服务器告警模型,自动化判断服务器的状态,以及通过具有可解释性的多规则的集群告警模型,自动化判断计算集群的告警状态,从而自动化对计算集群的温度进行监测,以避免计算集群的温度出现异常,以防硬件受损或系统崩溃。

    一种分布式模型训练系统及方法

    公开(公告)号:CN118396140A

    公开(公告)日:2024-07-26

    申请号:CN202410849948.8

    申请日:2024-06-27

    Abstract: 本说明书公开了一种分布式模型训练系统及方法,第二计算节点基于适应度函数确定各树型结构模型的当前适应度,选择目标树型结构模型,第一计算节点选择参考树型结构模型,根据参考树型结构模型和目标树型结构模型,生成进化操作执行任务,将其分配给各第二计算节点,使其执行各进化操作执行任务,得到更新后的树型结构模型,第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型,并以此构建当前待训练模型,迭代多次直到满足第一预设条件,得到训练完成的目标模型。可见,上述方案实现了基于大型计算集群的分布式训练的适配,解决了大型树型模型占用计算资源高的问题,提升了大型树型模型的训练效率。

    一种模型训练系统、方法、存储介质及电子设备

    公开(公告)号:CN118378726A

    公开(公告)日:2024-07-23

    申请号:CN202410830397.0

    申请日:2024-06-25

    Abstract: 本说明书公开了一种模型训练系统、方法、存储介质及电子设备,可以通过前向梯度传播的方式,即,在前向传播过程中,针对待训练模型的每层网络层的输出值和在待训练模型中位于该网络层的上一网络层的输出值,计算该网络层的梯度值,并基于该网络层的梯度值对该网络层的模型参数进行调整,从而可以使得在通过中央处理器确定每层网络层的模型参数后,即可将上一层网络层的输出值以及该网络层的梯度值删除,进而可以有效减少针对待训练模型进行训练过程中对于存储资源的占用。

Patent Agency Ranking