-
公开(公告)号：CN117596256B
公开(公告)日：2024-03-22
申请号：CN202410078564.0
申请日：2024-01-19
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/1095 , H04L67/1097 , H04L67/02
Abstract: 本发明公开了一种数据同步方法、装置、系统、电子设备及可读存储介质，应用于分布式存储技术领域。其中，方法包括开启千亿桶功能的源站点主动向目标站点发送桶分片分裂完成通知请求，以将新分裂桶分片数据存储为同步进度对象数据。当检测到桶分片处于全量同步状态，向源站点发送源桶分片的分裂状态查询请求，并从存储池中获取源桶分片的同步进度对象数据；根据源桶分片的分裂状态和同步进度对象数据确定满足新桶分片全量同步触发条件，对源桶分片的新桶分片进行全量同步。本发明可以解决相关技术千亿桶的全量同步出现少对象的问题，能够实现目标站点在对分布式对象存储系统的千亿桶全量同步时与源站点的数据完全一致。
-
公开(公告)号：CN113687780B
公开(公告)日：2024-02-23
申请号：CN202110872204.4
申请日：2021-07-30
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明提供一种分布式存储服务端QoS优化方法、系统、终端及存储介质，包括：预先设置服务质量模板的各参数项的取值范围；利用随机算法根据各参数项的取值范围生成多目标优化算法的初始种群；预先构建基于服务质量模板的参数项取值的客户端请求处理速度目标函数和内部请求处理速度目标函数；利用客户端请求处理速度目标函数和内部请求处理速度目标函数计算种群适应度；按非支配排序方法选择适应度高的种群进行优化迭代，得到服务质量模板的参数项取值最优方案集。本发明可有效处理调度服务器内外的I/O请求，得到最优的配置参数，使用者可根据这些最优解集以及自己的实际需要来配置QoS模板参数，从而提高集群的服务质量。
-
公开(公告)号：CN113625951B
公开(公告)日：2023-12-26
申请号：CN202110741509.1
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种桶生命周期配置方法、装置、设备及介质，包括：确定桶生命周期的配置参数的可行域；基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。这样，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。
-
公开(公告)号：CN116346937A
公开(公告)日：2023-06-27
申请号：CN202310348761.5
申请日：2023-03-30
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/61 , H04L49/90 , H04L67/568
Abstract: 本申请公开了一种客户端的网络请求传输方法、装置以及介质，应用于信息技术领域。本申请所提供的一种客户端的网络请求传输方法，应用于统一存储网关。统一存储网关包括dmclock队列以及请求转发单元，统一存储网关分别与多个客户端以及多个对象存储网关连接。统一存储网关接收客户端发送的网络请求，然后采用内部的dmclock队列处理网络请求，将经dmclock队列处理并出队列后的网络请求发送至内部的请求转发单元，最后控制请求转发单元将网络请求传输至对应的对象存储网关。本申请只有统一存储网关中的一个dmclock队列，避免了系统性能受影响以及避免了多节点的带宽以及Tps与集群实际值之间存在的误差。
-
公开(公告)号：CN115827950A
公开(公告)日：2023-03-21
申请号：CN202211446925.X
申请日：2022-11-18
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/953 , G06F16/951
Abstract: 本申请公开了一种孤儿对象查找方法、装置及可读存储介质，应用于数据处理领域。本申请所提供的孤儿对象查找方法，通过遍历头对象所在存储池查找出头对象并获取头对象的元数据，并根据头对象的元数据查找并记录有对应的头对象的尾对象。然后遍历尾对象所在存储池查找出尾对象，滤除有对应的头对象的尾对象，将其余的尾对象判定为孤儿对象。因为根据头对象可以找到对应的尾对象，而根据尾对象不可以找到对应的头对象，因此本方案先通过头对象找到有对应关系的头对象和尾对象，这部分尾对象为正常的尾对象。然后在所有尾对象中滤除掉正常的尾对象，剩下的尾对象即为孤儿对象。本申请相比原方案减少了无效对比，提高孤儿对象的查找效率。
-
Patent Agency Ranking
公开(公告)号：CN115525219A
公开(公告)日：2022-12-27
申请号：CN202211000165.X
申请日：2022-08-19
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开了一种对象数据的存储方法、装置及介质，适用于数据存储技术领域。借助AEP文件低延时、非易失、寿命高的特点，将待聚合的对象数据写入AEP文件中，控制聚合线程遍历AEP文件内的对象数据；当对象数据满足聚合要求时，对满足聚合要求的对象数据聚合为rados对象，并下刷至HDD盘中以便完成对象数据的存储。将现有的离线聚合从NVME盘向HDD盘的数据写入调整为AEP文件到HDD盘，缓解了现有的离线聚合方式的写放大、下刷不及时的问题，提高对象的写入速度和聚合效率，通过对象聚合，减少rados对象的数量，提高重构速度和系统的性能，同时提高HDD盘的空间利用率和故障恢复速度。
-
公开(公告)号：CN115470189A
公开(公告)日：2022-12-13
申请号：CN202211296548.6
申请日：2022-10-21
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/18 , G06F16/2455 , G06F16/27
Abstract: 本申请公开一种数据查询方法、装置及可读存储介质，涉及电子信息领域。本申请所提供的数据查询方法，应用于源站点，通过从目标站点中获取日志分片中的同步标记，从而获取得到对应的桶，将桶的名称发送至对应的目标站点，从而获取得到目标站点中对应的同步中的桶的配额以及源站点中的对应的桶的配额，依据两者的比值，即可获取得到对应的同步进度，对于同步速度的获取也可以通过联系周期时间获取，和以往的仅仅通过软件进行数据查询相比，由于能直接获取得到同步的进度以及速度，因此解决了当前数据同步功能中无法精准查询源站点和目的站点之间数据同步进度和速度的难题。
-
公开(公告)号：CN115237715A
公开(公告)日：2022-10-25
申请号：CN202210870899.7
申请日：2022-07-22
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种确定op操作失败的方法、装置、设备及介质，涉及分布式存储技术领域。该方法包括：根据op操作建立map缓存容器和rados对象，map缓存容器与rados对象一一对应；获取op操作的操作信息并存储于map缓存容器，之后将操作信息下刷并存储于rados对象；当rados对象中含有表征op操作失败的操作信息时确定失败。由于建立的map缓存容器能够存储op操作的全部操作信息，并存储在一起建立的rados对象中，在rados对象中若判断含有表征op操作失败的操作信息，则确定op操作失败。无需技术人员通过日志分析op操作是否失败，提升了查错效率和存储效率。
-
公开(公告)号：CN114995759A
公开(公告)日：2022-09-02
申请号：CN202210608909.X
申请日：2022-05-31
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种桶分片处理方法、装置、设备及介质，涉及计算机技术领域，该方法包括：判断当前任务队列中是否存在待处理桶分片，若存在则从当前任务队列中提取出当前待处理桶分片，获取下一任务队列；对下一任务队列进行第一预设加锁处理，对当前待处理桶分片进行重分片得到若干个目标桶分片；基于目标桶分片的分片数量对所有第一对象进行分区得到若干组第二对象，将每一组第二对象转移至对应的目标桶分片中；对下一任务队列进行第一预设解锁处理，将下一任务队列更新为当前任务队列，重新跳转至判断当前任务队列中是否存在待处理桶分片的步骤。能够降低重分片对前端业务的负面影响。
-
公开(公告)号：CN114968111A
公开(公告)日：2022-08-30
申请号：CN202210606581.8
申请日：2022-05-31
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06 , G06F16/13 , G06F16/16 , G06F16/182
Abstract: 本申请公开了一种数据删除方法、装置、设备和计算机可读存储介质，涉及到期删除领域，该方法包括：当对象存储桶内对象移动至回收站，建立对象存储桶的索引分片；通过omap键值对将对象的对象信息和删除时间保存至索引分片，其中，omap键值对中的key包括删除时间和对象名，key按照删除时间排序；根据删除时间确定待删除对象，并删除待删除对象和对应的omap键值对。当对象删除，为对象存储桶建立索引分片，以omap键值对的方式将对象的对象信息和删除时间保存在索引分片中，key包括对象的删除时间和对象名，且key按照删除时间进行排序，根据对象的删除时间确定待删除对象，无需遍历回收站内所有的对象，减少遍历操作。
-
-
-
-
-
-
-
-
-
Search Results
64
records
(took 0.033 seconds)
