-
公开(公告)号:CN116225774A
公开(公告)日:2023-06-06
申请号:CN202310467506.2
申请日:2023-04-27
Applicant: 云和恩墨(北京)信息技术有限公司
Abstract: 本申请实施例公开了数据实时校验方法、装置、电子设备及存储介质,涉及计算机技术领域。首先将请求操作空间进行扇区级别的划分,并为每个扇区配置状态机,通过设置多个校验点并在内存空间中对应存储各个扇区的工作状态与数据校验和等状态数据,当响应于读写请求时,对应更新校验点的内存空间中的状态数据,并且当扇区的工作状态处于预设状态时,才进行数据校验。由此可以有效解决并发读写请求导致的数据误报的问题,而且设置多个校验点可以实时校验数据,并在数据错误时快速定位对应的功能模块,保证了数据的准确性和完整性。
-
公开(公告)号:CN114461593A
公开(公告)日:2022-05-10
申请号:CN202210381793.0
申请日:2022-04-13
Applicant: 云和恩墨(北京)信息技术有限公司
IPC: G06F16/172 , G06F16/18 , G06F16/182
Abstract: 本发明公开了一种日志写入方法及其装置、电子设备及存储介质。其中,该写入方法包括:接收客户端的写日志请求,基于写日志请求,控制每个存储节点中的主放置群组在预先分配的内存中写入日志标识指示的日志,并将日志添加到发送队列中,采用远程访问网络访问数据存储器,轮询发送队列,将发送队列中的日志写入到从放置群组的内存中,在主放置群组接收到所有从放置群组返回的写入成功信息的情况下,确定日志写入成功。本发明解决了相关技术中无法在具有多个放置群组的情况下进行日志写入,容易导致日志不一致的技术问题。
-
公开(公告)号:CN117873709A
公开(公告)日:2024-04-12
申请号:CN202311773890.5
申请日:2023-12-21
Applicant: 云和恩墨(北京)信息技术有限公司
IPC: G06F9/50 , G06F11/14 , G06F16/18 , G06F16/182
Abstract: 本申请实施例提供了一种基于数据库的PG副本均衡方法、装置、设备及存储介质,属于分布式数据存储技术领域。该方法包括:将PG副本平均分配到每个OSD上,根据节点均衡映射表,确定每个OSD上三种副本角色的建议数量,再根据每个OSD上三种副本角色的建议数量,将每个OSD上PG副本的角色进行切换。节点均衡映射表存储不同OSD数量下,每一建议PG副本数量和建议日志副本数量、建议主副本数量和建议从副本数量之间的映射关系,进而能够通过获得建议日志副本数量、建议主副本数量和建议从副本数量,将每个OSD上PG副本的角色进行切换,实现物理节点间PG副本的均衡分布,提高分布式存储系统的性能。
-
公开(公告)号:CN114461593B
公开(公告)日:2022-07-29
申请号:CN202210381793.0
申请日:2022-04-13
Applicant: 云和恩墨(北京)信息技术有限公司
IPC: G06F16/172 , G06F16/18 , G06F16/182
Abstract: 本发明公开了一种日志写入方法及其装置、电子设备及存储介质。其中,该写入方法包括:接收客户端的写日志请求,基于写日志请求,控制每个存储节点中的主放置群组在预先分配的内存中写入日志标识指示的日志,并将日志添加到发送队列中,采用远程访问网络访问数据存储器,轮询发送队列,将发送队列中的日志写入到从放置群组的内存中,在主放置群组接收到所有从放置群组返回的写入成功信息的情况下,确定日志写入成功。本发明解决了相关技术中无法在具有多个放置群组的情况下进行日志写入,容易导致日志不一致的技术问题。
-
公开(公告)号:CN113821362B
公开(公告)日:2022-03-22
申请号:CN202111408986.2
申请日:2021-11-25
Applicant: 云和恩墨(北京)信息技术有限公司
Inventor: 吴红伟
IPC: G06F9/54 , H04L67/1095
Abstract: 本发明公开了一种数据复制方法及装置。其中,该方法包括:响应创建目标副本的操作,创建所述目标副本;从已有的主副本和从副本中选择一个作为所述目标副本的复制源;获取所述复制源中待复制数据的一致性视图;基于所述一致性视图将所述待复制数据复制到所述目标副本。本发明解决了相关技术中在分布式系统中主副本和从副本之间进行数据同步时,存在时延较长的技术问题。
-
公开(公告)号:CN117873709B
公开(公告)日:2024-07-09
申请号:CN202311773890.5
申请日:2023-12-21
Applicant: 云和恩墨(北京)信息技术有限公司
IPC: G06F9/50 , G06F11/14 , G06F16/18 , G06F16/182
Abstract: 本申请实施例提供了一种基于数据库的PG副本均衡方法、装置、设备及存储介质,属于分布式数据存储技术领域。该方法包括:将PG副本平均分配到每个OSD上,根据节点均衡映射表,确定每个OSD上三种副本角色的建议数量,再根据每个OSD上三种副本角色的建议数量,将每个OSD上PG副本的角色进行切换。节点均衡映射表存储不同OSD数量下,每一建议PG副本数量和建议日志副本数量、建议主副本数量和建议从副本数量之间的映射关系,进而能够通过获得建议日志副本数量、建议主副本数量和建议从副本数量,将每个OSD上PG副本的角色进行切换,实现物理节点间PG副本的均衡分布,提高分布式存储系统的性能。
-
公开(公告)号:CN116225774B
公开(公告)日:2023-08-15
申请号:CN202310467506.2
申请日:2023-04-27
Applicant: 云和恩墨(北京)信息技术有限公司
Abstract: 本申请实施例公开了数据实时校验方法、装置、电子设备及存储介质,涉及计算机技术领域。首先将请求操作空间进行扇区级别的划分,并为每个扇区配置状态机,通过设置多个校验点并在内存空间中对应存储各个扇区的工作状态与数据校验和等状态数据,当响应于读写请求时,对应更新校验点的内存空间中的状态数据,并且当扇区的工作状态处于预设状态时,才进行数据校验。由此可以有效解决并发读写请求导致的数据误报的问题,而且设置多个校验点可以实时校验数据,并在数据错误时快速定位对应的功能模块,保证了数据的准确性和完整性。
-
公开(公告)号:CN119718766A
公开(公告)日:2025-03-28
申请号:CN202411740340.8
申请日:2024-11-29
Applicant: 云和恩墨(北京)信息技术有限公司
IPC: G06F11/10
Abstract: 本申请公开了一种基于纠删码的日志提交和数据更新方法、设备及介质,该方法可以应用于服务器集群的领导节点,先接收待写入的数据分片,然后获取包含数据分片的更新信息的日志数据,接着再确认每个数据分片对应的目标分片所属的节点,并将日志数据发送至相应节点。在接收到来自节点的用于表征日志数据被正确接收的确认信息之后,可以根据这些日志数据对节点的目标分片进行增量更新。本申请实施例采用了增量更新策略,能够有效缓解写放大问题,并提高数据更新的效率。
-
公开(公告)号:CN118151848A
公开(公告)日:2024-06-07
申请号:CN202410256449.8
申请日:2024-03-06
Applicant: 云和恩墨(北京)信息技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种纠删码分布式数据存储中的领导节点的确定方法及装置,涉及分布式数据存储领域,该纠删码分布式数据存储中的领导节点的确定方法包括:在分布式系统中的候选节点在预设时间内获取到Z个投票的情况下,通过所述候选节点确定所述候选节点为所述分布式系统中的领导节点,其中,Z=max((N+1)/2,k),N为所述分布式系统中的节点数,N=2F+1,N=k+m,k为数据的数据分片数,m为数据的校验分片数,F为正整数,k大于m。采用上述技术方案,解决了CRaft无法保障纠删码存储模式的实现。
-
公开(公告)号:CN113821362A
公开(公告)日:2021-12-21
申请号:CN202111408986.2
申请日:2021-11-25
Applicant: 云和恩墨(北京)信息技术有限公司
Inventor: 吴红伟
Abstract: 本发明公开了一种数据复制方法及装置。其中,该方法包括:响应创建目标副本的操作,创建所述目标副本;从已有的主副本和从副本中选择一个作为所述目标副本的复制源;获取所述复制源中待复制数据的一致性视图;基于所述一致性视图将所述待复制数据复制到所述目标副本。本发明解决了相关技术中在分布式系统中主副本和从副本之间进行数据同步时,存在时延较长的技术问题。
-
-
-
-
-
-
-
-
-