-
公开(公告)号:CN117675097A
公开(公告)日:2024-03-08
申请号:CN202211053757.8
申请日:2022-08-30
Applicant: 华为云计算技术有限公司 , 中国科学技术大学
IPC: H04L1/00 , H04L67/1097
Abstract: 本申请涉及存储领域,提供了一种数据编码的方法及装置,该方法包括:获取目标数据;将所述目标数据拆分为n个数据集合,所述n为大于1的正整数;搭建所述n个数据集合的编码环境;在所述编码环境中对所述n个数据集合依次进行编码。该方法能够提高编码计算的效率。
-
公开(公告)号:CN117440002A
公开(公告)日:2024-01-23
申请号:CN202210818401.2
申请日:2022-07-12
Applicant: 华为云计算技术有限公司
IPC: H04L67/1097 , H04L9/40
Abstract: 本申请提供一种数据处理方法及分布式存储系统,涉及数据存储技术领域。该数据处理方法用于降低分布式存储系统的处理工作量。该方法应用于分布式存储系统中,分布式存储系统包括第一存储节点和第二存储节点。在该方法中,第一存储节点可关联存储第一标识更新后的第二标识和第一数据的第一标识,或者关联存储第一标识以及第一数据之前所属的存储节点(即第二存储节点)的标识(即第二标识),而不必存储第一数据,其中,第一标识与第一数据关联存储在第二存储节点中。由于无需第二存储节点将第一数据迁移至第一存储节点中,因此减少了分布式存储系统的处理工作量,有利于降低分布式存储系统的资源开销。
-
公开(公告)号:CN117290084A
公开(公告)日:2023-12-26
申请号:CN202211214158.X
申请日:2022-09-30
Applicant: 华为云计算技术有限公司
Inventor: 左鹏飞
IPC: G06F9/50
Abstract: 本申请实施例公开了一种内存池的操作方法,用于提升内存池的数据传输性能。本申请实施例方法包括:客户端提供第一接口,第一接口包括算法逻辑对应的一个或多个应用程序接口API,算法逻辑用于将应用服务器发送的操作请求转换为对内存池的操作。客户端调用第一接口生成第一操作请求,向内存池发送第一操作请求,以使得内存池根据第一操作请求执行以下一项或多项操作:远程直接内存访问RDMA操作、内存分配与释放操作和卸载操作。
-
公开(公告)号:CN119317905A
公开(公告)日:2025-01-14
申请号:CN202280096660.7
申请日:2022-07-11
Applicant: 华为云计算技术有限公司
IPC: G06F12/00
Abstract: 本发明提供了一种用于实现云计算微秒级组成员资格服务的数据处理装置和方法,所述数据处理装置包括一个或多个处理器,所述一个或多个处理器用于:检测第一多个成员的一个或多个系统故障;通过将所述一个或多个处理器配置成进行以下操作来定期确定包括活动的多个成员的表示的当前系统配置:根据活动的所述多个成员的共识确定是否存在要采用的新系统配置;如果活动的所述多个成员之间存在共识,将所述当前系统配置更新为所述新系统配置;或者,如果所述多个成员之间没有共识,维持所述当前系统配置,或将所述当前系统配置更新为基于所述当前系统配置的临时系统配置。
-
公开(公告)号:CN118733244A
公开(公告)日:2024-10-01
申请号:CN202310432124.6
申请日:2023-04-20
Applicant: 华为云计算技术有限公司
Inventor: 左鹏飞
Abstract: 本申请公开了一种数据处理的方法、装置及存储介质,属于存储技术领域。所述方法包括:获取待保存的第一键值对,第一键值对包括第一key和第一value,第一key包括多个片段键;确定第一节点,第一节点是基数树中的一个非叶子节点,基数树的根节点到第一节点的父节点的路径经过的每个节点包括第一key中的至少一个片段键,在第一key中至少一个片段键位于第一片段键之前,第一节点的内容部分不包括第一片段键;在第一节点的内容部分中的第一槽位中保存第一片段键和第一指针信息,第一指针信息用于指向第一叶子节点,第一叶子节点存储第一键值对,第一槽位是内容部分中的空闲槽位。本申请能够提高写数据的效率。
-
公开(公告)号:CN114691563A
公开(公告)日:2022-07-01
申请号:CN202011604618.0
申请日:2020-12-30
Applicant: 华为云计算技术有限公司
Inventor: 左鹏飞
Abstract: 一种数据处理方法、通信装置和系统,涉及数据处理技术领域。第一计算装置向第二计算装置发送第一目录,以使第二计算装置基于第一目录通过RDMA技术访问第一计算装置的内存;对第一哈希子表进行容量扩展处理,获得第二哈希子表、第三哈希子表以及第二目录,第三哈希子表中存放从第一哈希子表迁出的第一键值对,第二哈希子表中存放第一哈希子表中除第一键值对以外的其他键值对;第二目录用于查找容量扩展处理后在内存中存储的哈希子表;向第二计算装置发送第二目录,以使第二计算装置基于第二目录通过RDMA技术访问该内存。该方法有助于对第一计算装置的内存中的哈希子表进行容量扩展,同时保障第二计算装置对该内存的高效的RDMA访问。
-
公开(公告)号:CN119536979A
公开(公告)日:2025-02-28
申请号:CN202311196479.6
申请日:2023-09-15
Applicant: 华为云计算技术有限公司
Inventor: 左鹏飞
IPC: G06F9/50 , G06F12/0866
Abstract: 本申请提供一种缓存替换方法、装置及系统,涉及计算机领域。分布式系统中的计算节点向内存节点发送第一读操作请求,用于指示从内存节点读取多个数据对象的访问信息。然后,计算节点使用多个缓存替换算法中的第一缓存替换算法,基于多个数据对象的访问信息分别计算多个数据对象的热度。最后,计算节点在需要进行缓存替换时,根据多个数据对象的热度,向内存节点发送缓存替换请求,用于指示将多个数据对象中的冷数据替换为待插入内存节点的数据对象。如此,由计算节点根据全局的访问信息执行缓存替换算法,在分离式内存架构的分布式系统中实现了准确地缓存替换。
-
公开(公告)号:CN117993432A
公开(公告)日:2024-05-07
申请号:CN202211342305.1
申请日:2022-10-31
Applicant: 华为云计算技术有限公司
IPC: G06N3/0464 , G06N3/084
Abstract: 本申请实施例提供了一种模型训练的方法,涉及计算机技术领域,该方法包括:根据N个第一训练模型的前向传播结果,确定N个第一梯度,该N个第一梯度与N个第一训练模型的前向传播结果一一对应,每个第一梯度是基于所对应的第一训练模型的前向传播结果确定的,每个第一训练模型配置在所对应的节点,该N个节点属于所述DNN的第一层;将该N个第一梯度传输至N个节点中的每个节点,该N个第一梯度用于所述每个节点更新所对应的第一训练模型中的第一模型参数。基于该方案,在DNN一层的模型训练结束后,即可进行模型参数的更新,为尽早进行参数保存提供条件,进而整体加快模型训练的效率。
-
公开(公告)号:CN117785020A
公开(公告)日:2024-03-29
申请号:CN202211185513.5
申请日:2022-09-27
Applicant: 华为云计算技术有限公司
Inventor: 左鹏飞
IPC: G06F3/06
Abstract: 一种数据存储方法、装置和系统,涉及数据存储技术领域。该方法中,第一计算节点可以在与其它计算节点针对主哈希索引和/或备哈希索引的同一目标哈希索引位置存在访问冲突时,根据从M个备存储节点获得的第一信息确定自身是否为冲突解决方,以便由唯一的冲突解决方,在主哈希索引和/或备哈希索引的同一目标哈希索引位置达成一致性结果,以在分离式内存架构下保障多副本的强一致性。
-
公开(公告)号:CN114579558A
公开(公告)日:2022-06-03
申请号:CN202011362317.1
申请日:2020-11-28
Applicant: 华为云计算技术有限公司
Inventor: 左鹏飞
IPC: G06F16/22 , G06F16/2455
Abstract: 本申请公开了一种哈希表的管理方法、装置及系统、计算机存储介质,属于数据存储技术领域。第一设备响应于接收到用于请求写入第一键值对的写请求,采用至少两个哈希函数寻址第一键值对中的关键字对应的至少两个第一主哈希桶。第一设备在该至少两个第一主哈希桶及其备用哈希桶中确定写入第一键值对的目标空槽。然后第一设备将第一键值对写入目标空槽。其中,哈希表包括能够被哈希函数寻址到的主哈希桶和无法被哈希函数寻址到的备用哈希桶。本申请只需寻址到关键字对应的主哈希桶,然后将键值对插入主哈希桶或其备用哈希桶的空槽中,无需移动键值对,提高了设备的存储性能。
-
-
-
-
-
-
-
-
-