硬件资源展示方法、装置、存储介质以及电子设备

    公开(公告)号:CN117539924A

    公开(公告)日:2024-02-09

    申请号:CN202311459281.2

    申请日:2023-11-03

    Inventor: 畅晋 隋燕 张晓明

    Abstract: 本说明书公开了一种硬件资源展示方法、装置、存储介质以及电子设备,其中,方法包括:首先通过第一服务器获取第一事务方对应的主机数据的使用信息,并通过第二服务器获取第一事务方对应的磁盘的使用信息,然后,基于主机数据的使用信息计算第一事务方对应的主机数据利用率,基于磁盘的使用信息计算第一事务方对应的磁盘利用率,最后,基于各第一事务方对应的主机数据利用率和磁盘利用率,生成资源汇总信息,该资源汇总信息用于展示各第一事务方分别对应的主机数据利用率和磁盘利用率。

    并行训练业务模型的方法及装置

    公开(公告)号:CN112183668B

    公开(公告)日:2022-07-22

    申请号:CN202011211152.8

    申请日:2020-11-03

    Abstract: 本说明书实施例提供一种并行训练业务模型的方法,该方法可以由多个设备执行,业务模型可以按照对业务数据的处理顺序分割为依次连接的多个子模型。其中,前向过程,在获取当前的若干个训练样本后,各个设备依次利用各个子模型处理若干当前训练样本,其中,对于单个训练样本,依次经过各个设备经由相应子模型进行处理,得到单个处理结果,设备Gi处理训练样本Sj时,在其他设备中存在空闲设备的情况下,将相应的子模型Mi的部分模型参数广播至若干空闲设备,以供设备Gi和所述若干空闲设备以层内并行的方式处理训练样本Sj的相关数据。反向传播过程亦然,如此往复,从而提高设备的利用率和大规模模型训练效率。

    一种基于深度学习模型的推理方法、系统和装置

    公开(公告)号:CN112257867A

    公开(公告)日:2021-01-22

    申请号:CN202011162465.9

    申请日:2020-10-27

    Abstract: 本说明书实施例公开了一种基于深度学习模型的推理方法、系统及装置,其中,所述方法包括:获取第一输入数据以及第二输入数据,所述第一输入数据与实体对象相关,所述第二输入数据与目标用户的属性信息和/或历史行为相关;利用深度学习模型对所述第一输入数据与第二输入数据进行处理,确定反应所述待推荐对象与所述目标用户的关联关系的推理结果;其中,所述处理至少包括矩阵运算和/或指数运算,所述深度学习模型包括至少一个基于运算优化库实现的网络层,以实现所述矩阵运算和/或指数运算。以加速机器学习模型的推理速度,满足高并发需求,提升用户体验,降低机器部署成本。

    并行训练业务模型的方法及装置

    公开(公告)号:CN112183668A

    公开(公告)日:2021-01-05

    申请号:CN202011211152.8

    申请日:2020-11-03

    Abstract: 本说明书实施例提供一种并行训练业务模型的方法,该方法可以由多个设备执行,业务模型可以按照对业务数据的处理顺序分割为依次连接的多个子模型。其中,前向过程,在获取当前的若干个训练样本后,各个设备依次利用各个子模型处理若干当前训练样本,其中,对于单个训练样本,依次经过各个设备经由相应子模型进行处理,得到单个处理结果,设备Gi处理训练样本Sj时,在其他设备中存在空闲设备的情况下,将相应的子模型Mi的部分模型参数广播至若干空闲设备,以供设备Gi和所述若干空闲设备以层内并行的方式处理训练样本Sj的相关数据。反向传播过程亦然,如此往复,从而提高设备的利用率和大规模模型训练效率。

    基于序列模型的并行处理方法及装置

    公开(公告)号:CN116128021A

    公开(公告)日:2023-05-16

    申请号:CN202310134555.4

    申请日:2023-02-07

    Abstract: 本说明书实施例提供一种基于序列模型的并行处理方法及装置。该方法由各自部署序列模型的n个设备中任意的第i个设备执行,包括:获取对输入序列进行第一划分而得到的n份中的第i个子序列;基于序列模型中的自注意力参数,将第i个子序列分别映射为查询序列、键序列和值序列;对查询序列进行第二划分得到m个微序列;与其他的n‑1个设备共同执行m轮处理,任意的第j轮处理包括:将第j个微序列作为目标序列分别发送至n‑1个设备;基于目标序列、键序列和值序列,与n‑1个设备各自的键序列、值序列和该目标序列共同执行分布式计算,得到全局注意力编码;基于m个全局注意力编码确定与第i个子序列对应的注意力编码序列,以确定输入序列的预测结果。

    一种基于流水线并行的模型训练方法、装置以及设备

    公开(公告)号:CN113177632B

    公开(公告)日:2022-10-14

    申请号:CN202110396491.6

    申请日:2021-04-13

    Abstract: 本说明书实施例公开了基于流水线并行的模型训练方法。包括:根据正常训练顺序对待训练模型进行切分,得到多个子切片;将正常训练顺序在前的一部分子切片划分至第一组中,构成第一子模型,将剩余的子切片划分至第二组中,构成第二子模型;将第一子模型包含的子切片分配给不同的工作方,以及将第二子模型包含的子切片分配给不同的工作方;根据调整得到的训练顺序,在被分配了子切片的工作方上为子切片分配训练时间块,训练顺序包括:针对单轮训练样本,依次执行第一子模型本周期的正向传播、第一子模型前一周期的反向传播、第二子模型本周期的正向传播、第二子模型本周期的反向传播;按照训练时间块,在多个工作方上对待训练模型进行并行训练。

    一种基于流水线并行的模型训练方法、装置以及设备

    公开(公告)号:CN113177632A

    公开(公告)日:2021-07-27

    申请号:CN202110396491.6

    申请日:2021-04-13

    Abstract: 本说明书实施例公开了基于流水线并行的模型训练方法。包括:根据正常训练顺序对待训练模型进行切分,得到多个子切片;将正常训练顺序在前的一部分子切片划分至第一组中,构成第一子模型,将剩余的子切片划分至第二组中,构成第二子模型;将第一子模型包含的子切片分配给不同的工作方,以及将第二子模型包含的子切片分配给不同的工作方;根据调整得到的训练顺序,在被分配了子切片的工作方上为子切片分配训练时间块,训练顺序包括:针对单轮训练样本,依次执行第一子模型本周期的正向传播、第一子模型前一周期的反向传播、第二子模型本周期的正向传播、第二子模型本周期的反向传播;按照训练时间块,在多个工作方上对待训练模型进行并行训练。

    图片检测方法、装置和电子设备

    公开(公告)号:CN111461254A

    公开(公告)日:2020-07-28

    申请号:CN202010302598.5

    申请日:2020-04-17

    Inventor: 张晓明

    Abstract: 本说明书提出了一种图片检测方法、装置和电子设备,其中,所述图片检测方法包括:获取第一图片,识别所述第一图片中的附加信息;如果所述附加信息未包含在黑名单信息列表中,将所述第一图片确定为目标图片;否则,将所述第一图片确定为篡改图片;在将第一图片确定为目标图片后,采用卷积神经网络从目标图片中提取图片特征;将所述图片特征作为查询向量在包含比对特征的图片特征库中检索,获得所述图片特征的相似特征;根据所述图片特征与所述相似特征的相似度确定所述目标图片是否为篡改图片。采用本说明书的图片检测方案能够更准确地识别出被篡改图片。

Patent Agency Ranking