公开(公告)号：CN106126341A

公开(公告)日：2016-11-16

申请号：CN201610459965.6

申请日：2016-06-23

Applicant: 成都信息工程大学

Inventor： 李彤岩 ,  张婷 ,  赵伦 ,  苟瀚元 ,  徐嘉临

IPC: G06F9/50

CPC classification number: G06F9/5083

Abstract: 本发明公开了一种应用于大数据的多计算框架处理系统及关联规则挖掘方法。所述系统包括一个分布式计算机集群，共享该分布式计算机集群的mapreduce系统框架及spark系统框架，所述计算机集群包括组成事务数据库的数据库集群、交换机、应用服务器、Hadoop集群、Spark集群。本发明利用集群分配计算任务，利用多节点并行计算和分布式存储的优势，将多计算框架与关联规则挖掘算法结合起来，将分割事务集和剪枝策略结合起来，减少了数据的处理量，有效地提高了处理效率；同时，通过直接扫描value来求解条件模式基，在克服共享内存的局限性方面有了较大提升，使得计算资源得以均衡分配，有效地解决了传统项集挖掘算法存在计算和存储能力不足的问题。