-
公开(公告)号：CN109919313B
公开(公告)日：2021-06-08
申请号：CN201910101338.9
申请日：2019-01-31
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种梯度传输的方法及分布式训练系统，用以提升训练过程中产生的梯度的传输效率，提高分布式训练的训练效率。该方法包括：根据输入的训练数据，获取神经网络模型的第i层神经元对应的权重的梯度；将第i层神经元对应的权重的梯度发送至梯度缓存区；判断梯度缓存区内存储的梯度的数量是否超过传输阈值；根据判断结果，将梯度缓存区内存储的梯度发送至梯度收集模块；获取根据梯度收集模块内存储的多个神经网络模型发送的梯度得到的神经网络模型的第i层神经元对应的权重的梯度均值；并根据第i层神经元对应的权重的梯度均值更新对应的权重，以执行神经网络模型的下一次迭代。
-
-
公开(公告)号：CN119065599A
公开(公告)日：2024-12-03
申请号：CN202410970531.7
申请日：2022-08-16
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据处理方法、装置及系统，属于计算机技术领域。通过在计算节点和存储节点中分别部署DPU，并且使计算节点中的DPU与存储节点中的DPU建立通信链接。计算节点中的多个业务进程只需要与该计算节点中的DPU交互，再由该计算节点中的DPU通过通信链接与存储节点中的DPU交互，就能够实现在存储节点中写数据或从存储节点中读数据。单个计算节点与存储节点之间只需通过DPU建立一条通信链接即可，解决了目前计算节点与存储节点由于链接数目过多导致数据传输性能下降的问题，进而提高了数据处理效率。
-
公开(公告)号：CN118244972A
公开(公告)日：2024-06-25
申请号：CN202310387404.X
申请日：2023-03-31
Applicant: 华为技术有限公司
Abstract: 本申请提供一种数据存储方法、装置及系统，在该方法中，主机从本地内存中获取待备份的第一数据，第一数据为所述主机执行流处理产生的数据；将所述第一数据从所述本地内存写入远端内存池。该方法将状态存储在本地内存中，在执行状态备份时，将本地内存中的状态流式备份到远端内存池，由于都是内存操作，不需要写磁盘，读写性能高、延迟低。
-
公开(公告)号：CN117806842A
公开(公告)日：2024-04-02
申请号：CN202211173068.0
申请日：2022-09-26
Applicant: 华为技术有限公司
IPC: G06F9/54
Abstract: 本申请提供了一种数据访问方法、装置及设备，该方法应用于大数据分布式处理系统中的第一工作节点，大数据分布式处理系统包括数据管理节点以及至少一个工作节点，该方法包括：获取第一数据的元数据，第一数据为所述第一工作节点中的第一执行器中的第一任务请求访问的共享数据，第一数据的元数据用于指示第一数据在共享内存池中的存储位置信息，共享内存池包括数据管理节点的内存池以及各工作节点的内存池；根据第一数据的元数据，从共享内存池获取第一数据；将第一数据存储至第一工作节点的内存池，第一工作节点的内存池用于存储第一工作节点中各执行器共享的数据。第一工作节点仅在其内存池中存储一份第一数据，因此可以减少存储资源的消耗。
-
Patent Agency Ranking
公开(公告)号：CN115809015A
公开(公告)日：2023-03-17
申请号：CN202111076633.7
申请日：2021-09-14
Applicant: 华为技术有限公司
Abstract: 本申请提供了一种分布式系统中数据处理的方法，包括：管理节点将待处理的数据处理请求拆分为映射任务及归约任务，第一工作节点执行映射任务，并将执行映射任务得到中间数据写入共享存储区域，该中间数据根据第二工作节点的数量被划分为多个分区，每个分区归属于一个第二工作节点，聚合节点将共享存储区域中归属于相同分区的中间数据集中存储，第二工作节点获取对应分区的中间数据以执行归约任务。由此提升了拉取中间数据的效率，增大了传输尺寸，降低了传输次数，充分发挥网络性能。
-
公开(公告)号：CN115203133A
公开(公告)日：2022-10-18
申请号：CN202110812926.0
申请日：2021-07-19
Applicant: 华为技术有限公司
Abstract: 一种数据处理方法，应用于分布式处理系统中的归约服务器，该分布式处理系统包括多个映射服务器及多个归约服务器，上述多个映射服务器的内存及上述多个归约服务器的内存构成全局内存，方法包括：从预设的第一存储区域，获取待读取的第一数据的元数据，然后根据第一数据的元数据，确定第一数据在全局内存中的第一地址，最后根据第一地址，从全局内存中读取第一数据。本申请的实施例能够以内存方式对洗牌阶段存储在全局内存中的数据进行读取，从而提高洗牌阶段的处理效率。
-
公开(公告)号：CN113849295A
公开(公告)日：2021-12-28
申请号：CN202010600109.4
申请日：2020-06-28
Applicant: 华为技术有限公司
Abstract: 本申请公开了一种模型训练的方法、装置及计算机可读存储介质，属于通信领域。所述方法包括：管理节点调度第一模型训练任务，第一模型训练任务包括第一智能模型和第一参数调整作业的作业标识，第一智能模型是基于第一参数值集合对第一参数调整作业对应的算法进行配置得到的；根据作业标识确定第一计算节点，第一计算节点具有第一训练数据和空闲的第一资源中的至少一个，第一资源是用于处理第一参数调整作业所需的资源，第一训练数据是用于训练第一参数调整作业的智能模型所需的训练数据；向第一计算节点发送第一训练请求，第一训练请求用于第一计算节点根据第一资源和第一训练数据中的至少一个，训练第一智能模型。本申请能够提高模型训练的效率。
-
公开(公告)号：CN101841734A
公开(公告)日：2010-09-22
申请号：CN200910118793.6
申请日：2009-03-16
Applicant: 华为技术有限公司
IPC: H04Q1/02
CPC classification number: H04Q1/155
Abstract: 本发明实施例公开了一种背板及背板系统，该背板包括至少两个具有相同功能的业务槽位和交叉槽位，在不同的相同功能业务槽位分别与交叉槽位连接的管脚中，至少两个管脚呈阶梯状排布。因本发明实施例在多个具有相同功能的业务槽位分别与交叉槽位连接的管脚中，将至少两个管脚呈阶梯状排布，则能够调整相同功能的各业务槽位的管脚连接交叉槽位的连接线的分布和走向，提高单个布线层内的布线密度，使得各业务槽位与交叉槽位之间的连接线能够在较少的布线层甚至是一个布线层内交错开，减少布线层的使用数量，降低背板成本。
-
公开(公告)号：CN117311593A
公开(公告)日：2023-12-29
申请号：CN202210981958.8
申请日：2022-08-16
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据处理方法、装置及系统，属于计算机技术领域。通过在计算节点和存储节点中分别部署DPU，并且使计算节点中的DPU与存储节点中的DPU建立通信链接。计算节点中的多个业务进程只需要与该计算节点中的DPU交互，再由该计算节点中的DPU通过通信链接与存储节点中的DPU交互，就能够实现在存储节点中写数据或从存储节点中读数据。单个计算节点与存储节点之间只需通过DPU建立一条通信链接即可，解决了目前计算节点与存储节点由于链接数目过多导致数据传输性能下降的问题，进而提高了数据处理效率。
-
-
-
-
-
-
-
-
-
Search Results
22
records
(took 0.042 seconds)
