公开(公告)号：CN104866562A

公开(公告)日：2015-08-26

申请号：CN201510259107.2

申请日：2015-05-20

Applicant: 东华大学

Inventor： 李继云 ,  孙莉 ,  解书亮 ,  何刚 ,  丁祥武 ,  乐嘉锦 ,  施巍

IPC: G06F17/30

CPC classification number: G06F17/30563

Abstract: 本发明提供了一种基于Hadoop平台下的事实并行处理方法。由于事实数据量非常大，而且事实的处理主要是查找维度键，因此，为了加快事实的处理，本方法将从事实表查找维度键的方向着手，采用多路并行查找的方法提高事实的处理效率，同时针对不同类型的维度表，分别考虑了不同的查找方法。本发明针对不同数据量的情况，提供了相应的并行处理方法，使其能实现多路并行处理；同时也根据两种不同类型的渐变维度表，分别考虑了不同的查找方法，从而实现了Hadoop平台下的事实并行处理，提高了事实处理的效率。

公开(公告)号：CN104834741A

公开(公告)日：2015-08-12

申请号：CN201510259620.1

申请日：2015-05-20

Applicant: 东华大学

Inventor： 李继云 ,  孙莉 ,  张娇艳 ,  何刚 ,  乐嘉锦 ,  施巍 ,  吕俊涛

IPC: G06F17/30

CPC classification number: G06F17/30194 ,  G06F17/30079 ,  G06F17/30203 ,  G06F17/30575 ,  G06F17/30584

Abstract: 本发明要解决的技术问题是：减少被迁移到远程MySQL结点的HDFS数据块个数，同时以最小的代价将HDFS数据块均匀地分配到MySQL结点上。为了解决上述技术问题，本发明的技术方案是提供了一种基于分布式文件系统的数据块分配方法。本发明在满足数据块均匀分配的约束条件下，使得被分配到远程结点的HDFS数据块个数尽可能的少，同时使得在最短的时间内传输的HDFS数据块个数最多，在时间复杂度上更低，且性能更高，分配方案所花费的网络代价更低，更合理，具有较高的应用价值。