一种用于备份服务的数据组织方法

    公开(公告)号:CN101814045A

    公开(公告)日:2010-08-25

    申请号:CN201010152397.8

    申请日:2010-04-22

    Inventor: 周可 王桦 张鹏

    Abstract: 本发明公开了一种备份服务软件存储服务器端数据组织方法,用于提高存储服务器端的数据组织和数据管理效率。方法包括:①初始化存储服务器存储空间为元数据区(包括主记录、索引头和数据索引)和数据区;②接受并判断用户操作命令,备份操作顺序进行,恢复操作转步骤④,删除操作转步骤⑤;③处理用户备份操作,将用户数据备份到存储服务器数据区,同时利用重复数据删除技术避免重复数据备份;转步骤②;④处理恢复操作,将用户指定的恢复数据列表在存储服务器数据区定位查找,然后传输到用户端;转步骤②;⑤处理删除操作,查找用户指定删除的数据,根据这些数据在存储服务器数据区的备份数据块引用计数进行相应的处理;转步骤②。本方法提高了存储服务器端的利用率、可管理性和系统的可扩展性,节省了网络带宽,提高了备份效率。

    云盘分配方法、装置、电子设备及存储介质

    公开(公告)号:CN111722806B

    公开(公告)日:2024-09-13

    申请号:CN202010567943.8

    申请日:2020-06-19

    Abstract: 本申请实施例提供了一种云盘分配方法、装置、电子设备及存储介质,涉及人工智能和云存储技术领域。该方法包括:基于云盘分配请求中包含的云盘请求特征的特征值,确定负载特征的特征值;基于云盘请求特征的特征值和负载特征的特征值,从各候选存储仓库中确定目标存储仓库,进而从目标存储仓库中确定与云盘分配请求匹配的存储空间作为目标云盘。其中,基于云盘请求特征的特征值和负载特征的特征值最终确定目标云盘,从多个维度实现了云盘的相对均衡分配,减少了云块存储系统中各个存储仓库负载不均衡的问题,降低了存储仓库资源过载的风险,提高了云块存储系统的资源利用率。

    数据迁移方法、装置、计算机设备和存储介质

    公开(公告)号:CN115509733A

    公开(公告)日:2022-12-23

    申请号:CN202110700745.9

    申请日:2021-06-23

    Abstract: 本申请涉及一种数据迁移方法、装置、计算机设备和存储介质。该方法包括:确定目标集群集合中各个目标集群对应的网络存储单元集合;获取对目标集群对应的网络存储单元进行迁移的候选迁移策略;基于候选迁移策略确定目标集群集合对应的迁移后的迁移集群集合;获取迁移集群集合对应的第一资源利用差异度,第一资源利用差异度表示迁移集群集合中的集群利用存储资源的差异度;获取迁移集群集合所对应的第二资源利用差异度,第二资源利用差异度表示迁移集群集合在不同时间段利用存储资源的差异度;基于各个候选迁移策略所对应的第一资源利用差异度以及第二资源利用差异度,得到目标迁移策略。采用本方法能够提高数据迁移的效果,提高集群的负载均衡。

    用户请求处理方法、装置、设备和介质

    公开(公告)号:CN115242727A

    公开(公告)日:2022-10-25

    申请号:CN202210831645.4

    申请日:2022-07-15

    Abstract: 本申请公开了一种用户请求处理方法、装置、设备和介质,涉及通信技术领域,具体涉及数据处理技术领域。该方法包括:确定当前处理的请求队列中的第一待处理用户请求的数量;请求队列用于存储优先级相同的用户请求;若根据数量确定当前处理的请求队列满足换队条件,则从下一请求队列中获取第二待处理用户请求;当前处理的请求队列的优先级与下一请求队列的优先级不同;根据第一待处理用户请求和第二待处理请求更新服务器的任务处理队列;任务处理队列用于存储服务器待响应的用户请求。能够合理分配带宽,提高整体带宽的利用率。

    一种无垃圾回收的键值分离存储方法和系统

    公开(公告)号:CN110389942B

    公开(公告)日:2021-07-30

    申请号:CN201910540348.2

    申请日:2019-06-21

    Abstract: 本发明公开了一种无垃圾回收的键值分离存储方法,属于计算机存储技术领域,解决现有键值分离键值存储系统在更新密集型工作负载下无法实现高性能的问题。本发明主要针对更新密集型工作负载,通过对失效数据的有效管理,实现就地更新,从而消除存储过程中的垃圾回收操作,避免键值存储系统中有效数据的频繁重写,减少键值存储系统的写放大。对于更新密集型工作负载,本发明首先采用键值分离的方法将数据存储在值存储管理区,并将数据中的键存储在LSM树中进行管理,接下来通过收集、管理和复用失效数据索引对失效数据实现就地更新、覆盖回收,去除垃圾回收过程,避免由于垃圾回收而产生的开销,提升键值存储系统的性能。

    云盘分配方法、装置、电子设备及存储介质

    公开(公告)号:CN111722806A

    公开(公告)日:2020-09-29

    申请号:CN202010567943.8

    申请日:2020-06-19

    Abstract: 本申请实施例提供了一种云盘分配方法、装置、电子设备及存储介质,涉及人工智能和云存储技术领域。该方法包括:基于云盘分配请求中包含的云盘请求特征的特征值,确定负载特征的特征值;基于云盘请求特征的特征值和负载特征的特征值,从各候选存储仓库中确定目标存储仓库,进而从目标存储仓库中确定与云盘分配请求匹配的存储空间作为目标云盘。其中,基于云盘请求特征的特征值和负载特征的特征值最终确定目标云盘,从多个维度实现了云盘的相对均衡分配,减少了云块存储系统中各个存储仓库负载不均衡的问题,降低了存储仓库资源过载的风险,提高了云块存储系统的资源利用率。

    一种适合移动设备访问的云存储方法和系统

    公开(公告)号:CN106331001B

    公开(公告)日:2019-06-18

    申请号:CN201510348615.8

    申请日:2015-06-23

    Abstract: 本发明公开了一种适合移动设备访问的云存储系统,包括:云存储系统分成两层:移动节点组层‑存储节点层;移动节点组提供高速缓存层的功能,使用完全副本的方式,保证数据可靠性的同时为移动设备提供高性能的数据存储服务,采用一种曲线拟合热度值的动态副本管理算法管理移动节点组中的副本,移动设备向最近的移动节点组发出数据访问请求,组长选择组内一个空闲移动节点,根据移动客户端访问请求类型进行数据服务,如果移动客户端需要访问的数据不在离其最近的节点组中,则移动节点代替移动设备访问存储节点。本发明的方法能降低移动客户端处理数据的压力,减少移动客户端功耗的同时提高其访问速度,并且减少了系统中的冗余数据,节省了存储空间。

    一种基于前位置矢量的差分隐私保护方法

    公开(公告)号:CN107493268B

    公开(公告)日:2019-05-31

    申请号:CN201710623267.X

    申请日:2017-07-27

    Abstract: 本发明公开了一种基于前位置矢量的位置数据保护方法,由于位置数据的高维度、时空相关性、以及背景知识丰富等特点,使得位置数据的隐私保护面临着与传统隐私保护不同的挑战,针对位置数据隐私保护,本发明运用了差分隐私保护的方法,从矢量出发,向距离和角度两个维度分别添加随机噪声,实现ε‑差分隐私保护。经差分隐私保护处理后发布的位置数据,既保护了用户的个人隐私,又保证位置数据的可用性。

    一种基于局部性优化的重复数据检测方法

    公开(公告)号:CN107391034B

    公开(公告)日:2019-05-10

    申请号:CN201710555589.5

    申请日:2017-07-07

    Inventor: 王桦 周可 张攀峰

    Abstract: 本发明公开了一种基于局部性优化的重复数据检测方法,属于计算机存储技术领域,解决现有重复数据检测方法中检测效率低下的问题,以适应因存储数据规模扩大,而导致重复数据检测效率降低的现状。本发明包括布隆过滤器检测、哈希桶写缓存检测、哈希桶读缓存检测、哈希桶地址表检测步骤。本发明主要针对局部性较强的数据集类型,通过挖掘数据集中的局部性,提高数据预取的效率,降低磁盘访问开销,提升数据去重的吞吐率。对于数据集中可能的重复数据,本发明首先利用布隆过滤器对数据块的重复性进行预判,接下来根据不同的条件分别对缓存区的热区及冷区及磁盘进行三级重复数据的检测,充分利用重复数据中的局部性,提升重复数据的检测效能。

Patent Agency Ranking