-
公开(公告)号：CN109033298A
公开(公告)日：2018-12-18
申请号：CN201810776925.3
申请日：2018-07-14
Applicant: 北方工业大学
IPC: G06F17/30
Abstract: 本发明提供了一种在异构HDFS集群下的数据分配方法，包括：步骤1，基于Trace文件分析预测文件的初始热度值；步骤2，利用BP神经网络调整文件的当前热度值；步骤3，根据文件的当前热度值，为文件设置相应的存储策略，将不同热度的文件存储到具有不同读写性能的异构设备中，实现对冷热数据的分类存储。本发明在实际的HDFS集群运行时，实现了对冷数据和热数据更加合理的实时分配，从而能够充分利用集群中SSD和机械硬盘这两种现有异构存储设备不同的读写特性，更加精确地将经常访问的热数据存储到SSD，不常访问的冷数据存储到机械硬盘，在一定程度上提高了集群中数据的存取效率和整个集群的吞吐量，从而提升了整个HDFS集群的读写性能。
Search Results
1
records
(took 0.015 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
