-
公开(公告)号：CN111427844A
公开(公告)日：2020-07-17
申请号：CN202010296769.8
申请日：2020-04-15
Applicant: 成都信息工程大学 , 成都成信高科信息技术有限公司
IPC: G06F16/11 , G06F16/172 , G06F16/182
Abstract: 本发明公开了一种面向文件分级存储的数据迁移系统及方法，根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别；并在数据的性质由潜热数据转变为潜冷数据时引发真正的文件迁移；包括迁移速率控制和数据迁移的控制流程。本发明通过数据冷热程度算法对数据性质进行分类，并通过计算时间长度确定负载状态，达到通过内部的数据存储调度和迁移调度，以及在业务场景下的数据自动评估方法，实现系统中数据的自动迁移，从而达到在降低数据存储成本的同时保证数据访问的高性能访问的发明目的。
-
公开(公告)号：CN111858469A
公开(公告)日：2020-10-30
申请号：CN202010722766.6
申请日：2020-07-24
Applicant: 成都成信高科信息技术有限公司 , 成都信息工程大学
IPC: G06F16/11 , G06F16/13 , G06F16/16 , G06F16/172 , G06F16/182
Abstract: 本发明公开了一种基于时间滑动窗口的自适应分级存储的方法，应用于分布式文件存储系统，在分布式文件存储系统中建立SSD-HDD的分层式存储结构，文件根据系统制定的迁移策略在存储结构中动态迁移，实现分级存储；其中，文件的迁移策略为全局实时迁移策略和时间窗口迁移策略并行。本发明将全局监控和实时性监控结合，使用两种并行的迁移策略，完善文件的迁移调控机制，从而提供实时性更强的文件升级。同时，根据业务行为日志分析业务数据访问规律和设定的业务规则，利用机器学习算法预测业务数据访问行为，自动将预测结果所需的业务数据提前预读到缓存中。
-
公开(公告)号：CN111427843A
公开(公告)日：2020-07-17
申请号：CN202010295660.2
申请日：2020-04-15
Applicant: 成都信息工程大学 , 成都成信高科信息技术有限公司
IPC: G06F16/11 , G06F16/13 , G06F16/185
Abstract: 本发明公开了一种面向文件的海量数据分级存储方法，将存储设备分级为高性能存储层和大容量存储层两个层级，通过软件定义存储的方式，采用一种自动文件价值判别方法将系统中的文件划分为4种不同价值区间的数据，利用文件自动迁移机制和速率控制机制将不同价值区间的数据分别存储到相应成本的存储设备上。本发明通过内部的数据存储调度和迁移调度，以及在业务场景下的数据自动评估方法，实现系统中数据的自动迁移，从而达到在降低数据存储成本的同时保证数据访问的高性能访问的发明目的。
-
公开(公告)号：CN111858469B
公开(公告)日：2024-01-26
申请号：CN202010722766.6
申请日：2020-07-24
Applicant: 成都成信高科信息技术有限公司 , 成都信息工程大学
IPC: G06F16/11 , G06F16/13 , G06F16/16 , G06F16/172 , G06F16/182
Abstract: 本发明公开了一种基于时间滑动窗口的自适应分级存储的方法，应用于分布式文件存储系统，在分布式文件存储系统中建立SSD‑HDD的分层式存储结构，文件根据系统制定的迁移策略在存储结构中动态迁移，实现分级存储；其中，文件的迁移策略为全局实时迁移策略和时间窗口迁移策略并行。本发明将全局监控和实时性监控结合，使用两种并行的迁移策略，完善文件的迁移调控机制，从而提供实时性更强的文件升级。同时，根据业务行为日志分析业务数据访问规律和
-
Patent Agency Ranking
公开(公告)号：CN111427844B
公开(公告)日：2023-05-19
申请号：CN202010296769.8
申请日：2020-04-15
Applicant: 成都信息工程大学 , 成都成信高科信息技术有限公司
IPC: G06F16/11 , G06F16/172 , G06F16/182
Abstract: 本发明公开了一种面向文件分级存储的数据迁移系统及方法，根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别；并在数据的性质由潜热数据转变为潜冷数据时引发真正的文件迁移；包括迁移速率控制和数据迁移的控制流程。本发明通过数据冷热程度算法对数据性质进行分类，并通过计算时间长度确定负载状态，达到通过内部的数据存储调度和迁移调度，以及在业务场景下的数据自动评估方法，实现系统中数据的自动迁移，从而达到在降低数据存储成本的同时保证数据访问的高性能访问的发明目的。
-
公开(公告)号：CN111858470A
公开(公告)日：2020-10-30
申请号：CN202010722780.6
申请日：2020-07-24
Applicant: 成都成信高科信息技术有限公司 , 成都信息工程大学
IPC: G06F16/11 , G06F16/13 , G06F16/16 , G06F16/182
Abstract: 本发明公开了一种时间窗口迁移策略，应用于分布式文件存储系统，包括如下步骤：使用哈希表的方式将数据的文件信息记录在内存中；当时间窗口滑动则删除过期数据；依次解析访问日志内容；使用哈希函数将文件句柄作为键，访问时间的集合作为值，依次将访问时间插入到集合中；判断时间窗口内的访问次数超过设定的阈值，若是则进行文件的升级迁移；判断集合中最远一次访问时间是否超过时间窗口大小，若是则覆盖记录；判断集合中最近一次访问时间是否超过时间窗口大小，若是则删除记录；当内存使用率超过设定的阈值，则遍历哈希表，检查并删除过期记录。时间窗口迁移策略执行一小段时间内的数据访问监控，为分布式文件存储系统的存储方法提供有效帮助。
-
公开(公告)号：CN111858471A
公开(公告)日：2020-10-30
申请号：CN202010734285.7
申请日：2020-07-24
Applicant: 成都成信高科信息技术有限公司 , 成都信息工程大学
IPC: G06F16/11 , G06F16/182 , G06F16/2458
Abstract: 本发明公开了一种实时迁移策略，应用于分布式文件存储系统，基于实时记录的数据访问次数，当访问次数在固定的间隔时间长度内超过了设定的阈值则进行需要升级迁移，将全局访问进行实时监控和分析。在数据访问发生时，实时记录数据的访问次数和间隔时间；判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中。根据实时记录的CPU利用率、内存使用率、存储池容量和IO队列长度自动调整访问频率策略中的参数。本发明执行全局数据访问的监控，为分布式文件存储系统的存储方法提供了有效帮助。
-
公开(公告)号：CN112947860B
公开(公告)日：2022-11-04
申请号：CN202110236046.3
申请日：2021-03-03
Applicant: 成都信息工程大学
Abstract: 本发明公开了一种分布式数据副本的分级存储与调度方法，包括以下步骤：建立SSD‑HDD的分层式存储结构，数据的存储采用三副本的存储策略；将数据划分为冷数据、潜冷数据、热数据以及潜热数据；采用基于线段树的分配算法选择合适的存储节点；按照副本冷热属性的不同，分阶段迁移数据的副本；当数据的冷热属性变化时，将数据按照相应属性的策略进行迁移。本发明避免了因短时间大量数据的迁移而导致系统不稳定，减少数据迁移对整个存储系统的性能影响；同时为不同属性的数据提供了合适的存储和迁移方式，从而使数据对外服务达到较高的性能，并节约了成本。
-
公开(公告)号：CN112947860A
公开(公告)日：2021-06-11
申请号：CN202110236046.3
申请日：2021-03-03
Applicant: 成都信息工程大学
Abstract: 本发明公开了一种分布式数据副本的分级存储与调度方法，包括以下步骤：建立SSD‑HDD的分层式存储结构，数据的存储采用三副本的存储策略；将数据划分为冷数据、潜冷数据、热数据以及潜热数据；采用基于线段树的分配算法选择合适的存储节点；按照副本冷热属性的不同，分阶段迁移数据的副本；当数据的冷热属性变化时，将数据按照相应属性的策略进行迁移。本发明避免了因短时间大量数据的迁移而导致系统不稳定，减少数据迁移对整个存储系统的性能影响；同时为不同属性的数据提供了合适的存储和迁移方式，从而使数据对外服务达到较高的性能，并节约了成本。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.053 seconds)
