-
-
公开(公告)号:CN113900972A
公开(公告)日:2022-01-07
申请号:CN202110080370.0
申请日:2021-01-21
Applicant: 华为技术有限公司
Abstract: 一种使用RDMA技术的数据传输的方法,该方法包括源端设备的网卡获取第一通知消息和第二通知消息,其中,第一通知消息用于指示源端设备的第一队列中存在第一待处理的远程直接内存访问RDMA请求,第一队列用于存储源端设备中第一业务应用的请求;第二通知消息用于指示源端设备的第二队列中存在第二待处理的RDMA请求,第二队列用于存储源端设备中第二业务应用的请求。源端设备的网卡根据第一业务应用的服务等级和第二业务应用的服务等级确定第一队列和第二队列的处理顺序,并按照处理顺序分别向目的端设备发送第一待处理的RDMA请求和第二待处理的RDMA请求。
-
公开(公告)号:CN108990422B
公开(公告)日:2021-07-20
申请号:CN201780000600.X
申请日:2017-03-31
Applicant: 华为技术有限公司
Inventor: 沈胜宇
Abstract: 一种锁分配的方法、装置及计算设备,该方法包括:第一节点控制器(NC)接收第二NC生成的第一迁移队列;第一迁移队列中队列头的加锁请求为第一加锁请求,第一加锁请求中包括第一NC的标识;将第一目标锁分配给第一NC关联的第一中央处理器(CPU);当接收到第一CPU发送的释放第一目标锁的请求时,删除第一迁移队列中队列头的第一加锁请求;当第一迁移队列不为空时,修改第二加锁请求的拿锁标志位为已拿锁状态,已拿锁状态用于标识第一目标锁被占用;第二加锁请求为删除了第一加锁请求的第一迁移队列中队列头的加锁请求;确定发出第二加锁请求的第三NC,以及将第一迁移队列发送给所述第三NC。以此解决锁竞争的问题。
-
-
公开(公告)号:CN119211254A
公开(公告)日:2024-12-27
申请号:CN202411162374.3
申请日:2023-08-14
Applicant: 华为技术有限公司
IPC: H04L67/1095 , H04L67/1097 , H04L67/1004 , H04L67/60 , H04L49/15
Abstract: 本申请提供一种数据处理方法、交换节点及相关系统,应用于包括多个计算节点和至少一个第一交换节点的分布式计算系统,其中每个第一交换节点与多个计算节点中的至少一个计算节点连接,第一交换节点在接收其连接的至少一个计算节点的控制信息后,根据控制信息向上述至少一个计算节点发送数据读取请求;第一交换节点在获得根据数据读取请求读取的数据计算得到的计算结果后,向上述至少一个计算节点发送计算结果。在该分布式计算系统中,多个计算节点在需要进行集合通信时,交换节点从计算节点获取需要聚合的数据并进行数据聚合,然后将聚合后的结果发送给计算节点,能够降低通过集合通信进行数据聚合时需要传输的数据量和同步次数,提高计算效率。
-
公开(公告)号:CN119180313A
公开(公告)日:2024-12-24
申请号:CN202411146893.0
申请日:2022-10-20
Applicant: 华为技术有限公司
Abstract: 本申请提供一种数据处理方法、装置及相关设备,该方法包括:计算设备根据待压缩的多个第一数据确定第一基准值;然后计算每个第一数据与第一基准值的差值;确定每个差值对应的编码;根据每个编码得到对应的第一数据被压缩后的数据。其中,各个第一数据对应的编码中的部分或全部编码的长度小于原第一数据的长度。上述基准值是待压缩的多个数据中出现次数较多的数据,待压缩的多个数据分别与基准值做差值时,得到的多个差值中0的数量最多,将差值进行编码后,能够将差值对应的数据压缩到较少的位数;由于编码所占的比特位小于各个数据,从而能够实现对数据的压缩,降低不同计算设备之间交互的数据量,提高数据传输效率。
-
公开(公告)号:CN113126954B
公开(公告)日:2024-04-09
申请号:CN201911414534.8
申请日:2019-12-31
Applicant: 华为技术有限公司
IPC: G06F7/57
Abstract: 本申请实施例公开了一种浮点数乘法计算的方法、装置和算术逻辑单元,属于数据处理领域。所述方法包括:获取多个待计算的第一精度浮点数;对每个待计算的第一精度浮点数进行分解,得到至少两个第二精度浮点数,其中,所述第二精度浮点数的精度低于所述第一精度浮点数的精度;确定各种由分解自不同的第一精度浮点数的两个第二精度浮点数组成的组合;将每种组合中的第二精度浮点数输入第二精度乘法器中,得到每种组合对应的中间计算结果;基于每种组合对应的中间计算结果,确定所述多个待计算的第一精度浮点数的计算结果。采用本申请,可以节省计算资源。
-
公开(公告)号:CN117596242A
公开(公告)日:2024-02-23
申请号:CN202211302704.5
申请日:2022-10-24
Applicant: 华为技术有限公司
IPC: H04L67/10 , H04L49/9057
Abstract: 一种数据处理方法及计算集群,用于解决现有的allreduce操作中数据传输的总数据量和总传输次数较大的问题。其中,数据处理方法应用于计算集群中,计算集群包括计算节点,计算节点包括N个计算单元和第一交换机,N个计算单元连接至第一交换机中。方法包括:第一交换机获取allreduce任务的任务信息,任务信息用于指示参与allreduce任务的、且属于该计算节点的计算单元为N个;N个计算单元分别发送各自的待聚合数据至第一交换机,每个待聚合数据为对应计算单元中的I个分片中的第i个分片。第一交换机根据任务信息识别所接收的数据为待聚合数据,对待聚合数据执行allreduce操作得到聚合数据。
-
公开(公告)号:CN116204487A
公开(公告)日:2023-06-02
申请号:CN202111445721.X
申请日:2021-11-30
Applicant: 华为技术有限公司
IPC: G06F15/173 , G06F12/06
Abstract: 本申请公开了一种远程数据访问方法及装置,涉及通信技术领域,该方法能够提高本端设备操作远端设备的数据的效率。该方法应用于与第二设备连接通信的第一设备,第一设备和第二设备均配置有具有远程直接内存访问RDMA功能的网络接口卡NIC。该方法由第一设备的NIC执行,该方法包括:生成包括类型标识和功能标识的第一报文;向第二设备发送第一报文。其中,第一报文中的类型标识表示第一报文是远程内存功能调用RMFC类型的报文,RMFC类型的报文用于指示第二设备对第二设备的本地数据执行预设操作。第一报文中的功能标识用于指示该预设操作的操作类型。
-
公开(公告)号:CN115878550A
公开(公告)日:2023-03-31
申请号:CN202111152703.2
申请日:2021-09-29
Applicant: 华为技术有限公司
IPC: G06F15/173 , G06F9/54
Abstract: 本申请实施例公开了一种数据处理的方法,用于降低数据处理时延。本申请实施例方法包括:本申请实施例应用于数据处理系统,该数据处理系统包括第一设备和第二设备,第一设备向第二设备发送数据处理请求,数据处理请求携带的信息可以指示第二设备确定是在第一处理器核还是在第二处理器核执行该数据处理请求,当该信息指示在第一处理器核执行时,第二设备可以调度第一处理器核执行该数据处理请求,当该信息指示在第二处理器核执行时,第二设备可以调度第二处理器核执行该数据处理请求。
-
-
-
-
-
-
-
-
-