-
公开(公告)号：CN119248196A
公开(公告)日：2025-01-03
申请号：CN202411375140.7
申请日：2024-09-29
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请实施例提供了一种数据存储方法及装置，其中，该方法包括：获取存储桶中存放的对象数据集合；在对象数据集合中的至少一个第一对象数据满足第一数据处理条件的情况下，将至少一个第一对象数据聚合为第一聚合数据，并将第一聚合数据下刷至第一存储池中，其中，存储桶关联的分级下刷池包括第一存储池；在对象数据集合中的至少一个第二对象数据满足第二数据处理条件的情况下，将至少一个第二对象数据聚合为第二聚合数据，并将第二聚合数据下刷至第二存储池中，其中，存储桶关联的分级下刷池包括第二存储池。通过本申请，解决了数据存储效率较低的问题，进而达到了提高数据存储效率的效果。
-
公开(公告)号：CN117596256A
公开(公告)日：2024-02-23
申请号：CN202410078564.0
申请日：2024-01-19
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/1095 , H04L67/1097 , H04L67/02
Abstract: 本发明公开了一种数据同步方法、装置、系统、电子设备及可读存储介质，应用于分布式存储技术领域。其中，方法包括开启千亿桶功能的源站点主动向目标站点发送桶分片分裂完成通知请求，以将新分裂桶分片数据存储为同步进度对象数据。当检测到桶分片处于全量同步状态，向源站点发送源桶分片的分裂状态查询请求，并从存储池中获取源桶分片的同步进度对象数据；根据源桶分片的分裂状态和同步进度对象数据确定满足新桶分片全量同步触发条件，对源桶分片的新桶分片进行全量同步。本发明可以解决相关技术千亿桶的全量同步出现少对象的问题，能够实现目标站点在对分布式对象存储系统的千亿桶全量同步时与源站点的数据完全一致。
-
公开(公告)号：CN116701540A
公开(公告)日：2023-09-05
申请号：CN202310780065.1
申请日：2023-06-29
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种数据同步方法、装置、设备及介质，涉及数据存储领域，该方法应用于第一数据中心，包括：确定目标对象的断点位置信息；所述断点位置信息用于表征上次数据同步过程中所述目标对象对应的已同步数据的位置信息；基于所述断点位置信息对应的断点位置，从第二数据中心读取预设目标容量的未同步数据，并将已读取数据保存至当前集群存储池中；基于已读取数据的位置信息更新所述断点位置信息。本发明能够降低超大对象长时间数据同步对系统资源的长期占用从而导致的一系列问题，还能减少集群异常导致数据同步失败而产生的垃圾数据对存储池空间的无效占用。
-
公开(公告)号：CN116483923A
公开(公告)日：2023-07-25
申请号：CN202310460543.0
申请日：2023-04-21
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种数据传输方法，包括以下步骤：响应于接收到基于预设协议发送的数据写入请求且存在与所述数据写入请求对应的文件，将所述对应的文件删除并创建新的文件以向所述新的文件写入数据；向所述新的文件中写入数据后计算校验值并将所述校验值写入到所述新的文件的元数据中；基于所述新的文件的标识生成元数据写入请求并将所述元数据写入请求发送到异步线程进行处理，其中若所述新的文件被删除，则将所述元数据写入请求丢弃。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案在写数据和写元数据异步处理时，能够保证数据一致性。
-
公开(公告)号：CN116450739A
公开(公告)日：2023-07-18
申请号：CN202310416704.6
申请日：2023-04-13
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种多站点数据同步方法、系统、装置及介质，应用于数据处理领域。本申请所提供的多站点数据同步方法，通过比较各站点的数据信息判断各站点中是否有站点缺失数据，并在确认有站点缺失数据时，通过在其他站点中获取所缺失的数据写入缺失数据的站点，不仅可以实现多站点数据的冗余达到备份的目的，并且可以在站点数据丢失后通过其他站点恢复数据，保障故障站点与其他站点的数据同步，从而使多站点同步数据功能更加强大，提高分布式对象产品的市场竞争力。本申请所提供的多站点数据同步系统、装置、介质的有益效果同上。
-
Patent Agency Ranking
公开(公告)号：CN115729473A
公开(公告)日：2023-03-03
申请号：CN202211509086.1
申请日：2022-11-29
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请涉及存储技术领域，具体公开了一种数据迁移方法、数据迁移装置、数据迁移设备及存储介质，通过在执行将源存储集群至目标存储集群的全量数据迁移任务时，记录源存储集群相较于目标存储集群的数据变更日志，在执行完全量数据迁移任务之后，能够根据数据变更日志确定源存储集群相较于目标存储集群的增量数据，继而执行将增量数据自源存储集群至目标存储集群迁移的增量数据迁移任务，通过基于数据变更日志确定增量数据，相较于迁移工具将源存储集群中的所有数据以及目标存储集群中的所有数据读取到内存中比较得到增量数据的现有增量迁移方案，能够更快地确定增量数据，显著提升增量数据迁移任务的效率，继而提升存储集群间数据迁移的整体效率。
-
公开(公告)号：CN113821166A
公开(公告)日：2021-12-21
申请号：CN202110962671.6
申请日：2021-08-20
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种聚合多版本小对象的方法、装置及设备，该方法包括：首先获取待聚合的至少一个目标多版本小对象，然后，对至少一个目标多版本小对象进行标记，并将标记记录到存储池中，接着，当获取到的目标多版本小对象的数量达到预设数量时，根据标记对目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量，提高重构速度和兼容性，进而提高系统的存储速度。
-
公开(公告)号：CN113806107A
公开(公告)日：2021-12-17
申请号：CN202110981471.5
申请日：2021-08-25
Applicant: 济南浪潮数据技术有限公司
IPC: G06F9/54
Abstract: 本发明公开了一种对象拷贝方法、装置、设备及存储介质；在本方案中，查找待拷贝的目标对象后，先将目标对象的目标元数据拷贝至内存，将内存中的目标元数据写入拷贝的目的位置，并利用目标元数据在目的位置下创建软连接，以便在目的位置下通过软连接访问目标对象的真正数据；在满足真正数据拷贝条件后，根据目标元数据将目标对象的真正数据拷贝至内存，并将内存中的真正数据写入目的位置。可见，本方案进行对象拷贝时，可暂时不将目标对象的真正数据进行拷贝，从而避免出现内存暴涨、IO过大的问题，并且通过创建软连接，还可以保证目标对象的正常访问，提高了对象的拷贝效率，为用户带来了良好的使用体验。
-
公开(公告)号：CN113687783A
公开(公告)日：2021-11-23
申请号：CN202110876875.8
申请日：2021-07-31
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种对象聚合方法、系统、装置及计算机存储介质，应用于分布式对象存储系统，包括：S11：接收小对象至存储池；S12：判断小对象是否为覆盖写；S13：若是，则判断与小对象的OID相同的旧对象是否已经聚合；S14：若已经聚合，则将旧对象的位图信息设置为无效，执行S16；S15：若未聚合，则对旧对象直接覆盖写，执行S16；S16：在存储池中利用小对象的OID和修改时间，生成与小对象对应的对象标记；S17：聚合线程利用对象标记获取小对象，并对小对象进行聚合。本申请在新对象聚合后，生成与小对象对应的对象标记，以使聚合线程仍能够通过新的对象标记查找到新的小对象，并重新对小对象进行聚合操作，实现了在覆盖写的同时也能够进行聚合。
-
公开(公告)号：CN113625959B
公开(公告)日：2023-12-29
申请号：CN202110745186.3
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据处理方法和装置，多个数据大小不超过第一阈值的元对象聚合得到第一条带对象，在存在元对象删除时，可以获取一级位图信息；根据所述一级位图信息确定二级位图信息，所述二级位图信息记录了第一条带对象中每个元对象的状态信息；根据所述二级位图信息中的状态信息，确定所述第一条带对象中每个元对象的有效性；根据每个元对象的有效性对所述第一条带对象进行处理。这样，便可以根据聚合后第一条带对象中每个元对象的有效性，对无效数据进行垃圾回收处理或碎片整理，以提高存储空间有效利用率，大大降低存储空间的浪费。
-
-
-
-
-
-
-
-
-
Search Results
34
records
(took 0.111 seconds)
