公开(公告)号：CN110134714B

公开(公告)日：2021-04-20

申请号：CN201910428559.7

申请日：2019-05-22

Applicant: 东北大学

Inventor： 宋杰 ,  王傲

IPC: G06F16/2455 ,  G06F16/22 ,  G06F16/27

Abstract: 本发明提供一种适用于大数据迭代计算的分布式计算框架缓存索引方法，涉及大数据环境下分布式计算框架技术领域。同一类型的迭代计算作业，从集群节点中获得若干历史执行日志并分析，获取每个集群节点的每个缓存数据块信息以及在该缓存数据块上执行的历史任务信息，构建分布式缓存索引；目标任务分发时，以目标任务的任务特征为输入，查找分布式缓存索引，确定目标任务所需数据所在节点的位置，完成任务分发；收集任务信息及任务使用的缓存数据信息，获得任务特征集合，加入缓存索引进行完善；如此反复，直到分布式缓存索引稳定。本发明充分利用历史任务的缓存，提高分布式缓存利用率，提高内存使用效率，加快迭代计算任务执行。

公开(公告)号：CN110134714A

公开(公告)日：2019-08-16

申请号：CN201910428559.7

申请日：2019-05-22

Applicant: 东北大学

Inventor： 宋杰 ,  王傲

IPC: G06F16/2455 ,  G06F16/22 ,  G06F16/27

Abstract: 本发明提供一种适用于大数据迭代计算的分布式计算框架缓存索引，涉及大数据环境下分布式计算框架技术领域。同一类型的迭代计算作业，从集群节点中获得若干历史执行日志并分析，获取每个集群节点的每个缓存数据块信息以及在该缓存数据块上执行的历史任务信息，构建分布式缓存索引；目标任务分发时，以目标任务的任务特征为输入，查找分布式缓存索引，确定目标任务所需数据所在节点的位置，完成任务分发；收集任务信息及任务使用的缓存数据信息，获得任务特征集合，加入缓存索引进行完善；如此反复，直到分布式缓存索引稳定。本发明充分利用历史任务的缓存，提高分布式缓存利用率，提高内存使用效率，加快迭代计算任务执行。