一种基于数据压缩的大数据处理系统节能方法

    公开(公告)号:CN112764686A

    公开(公告)日:2021-05-07

    申请号:CN202110104045.3

    申请日:2021-01-26

    Applicant: 东北大学

    Abstract: 本发明提供一种基于数据压缩的大数据处理系统节能方法,涉及大数据处理技术领域。该方法首先使用数据依赖模型描述输入作业,并测试选取的压缩算法的性能,接着建立读写块能耗模型计算该压缩算法读写数据块时对应的能耗,根据对应能耗优化条件,若压缩算法满足能耗优化条件则使用该压缩算法运行作业,否则基于能耗优化边界条件,确定算法优化区域,并寻找在优化区域内的节能压缩算法。本发明方法,对于给定大数据处理系统上的作业,该方法能判定选取的数据压缩算法是否满足该作业能耗优化的条件,进而能有效减少大数据处理系统中作业读写数据过程产生的能耗。

Patent Agency Ranking