公开(公告)号：CN106202518B

公开(公告)日：2019-07-30

申请号：CN201610583443.7

申请日：2016-07-22

Applicant: 桂林电子科技大学

Inventor： 黄文明 ,  莫阳 ,  邓珍荣

IPC: G06F16/35

Abstract: 本发明一种基于CHI和分类别关联规则算法的短文本分类方法，将不同类别文本的频繁词集出现频繁度进行了度量，引入了类别频繁因子（LFF），通过LFF合理分配了各文本类别的最小支持度阈值，克服了传统的FP‑Growth算法挖掘出的频繁词集类别出现偏斜的情况，同时在对频繁词集进行类别倾向判断上，采取了CHI检验算法去衡量特征词与类别之间的关联程度，而非采取简单的词语频率统计去衡量，避免了人工设参和实验确定最佳参数的步骤，增强了分类系统的可控制性。同时还提出了基于Hadoop/MapReduce大数据计算平台的并行特征扩展短文本分类算法，对类别频繁因子的计算和特征扩展方法进行了MapReduce并行化设计，提升了短文本分类准确率以及分类效率，提高了系统的可控性。

公开(公告)号：CN106202518A

公开(公告)日：2016-12-07

申请号：CN201610583443.7

申请日：2016-07-22

Applicant: 桂林电子科技大学

Inventor： 黄文明 ,  莫阳 ,  邓珍荣

IPC: G06F17/30

CPC classification number: G06F16/35

Abstract: 本发明一种基于CHI和分类别关联规则算法的短文本分类方法，将不同类别文本的频繁词集出现频繁度进行了度量，引入了类别频繁因子LFF），通过LFF合理分配了各文本类别的最小支持度阈值，克服了传统的FP-Growth算法挖掘出的频繁词集类别出现偏斜的情况，同时在对频繁词集进行类别倾向判断上，采取了CHI检验算法去衡量特征词与类别之间的关联程度，而非采取简单的词语频率统计去衡量，避免了人工设参和实验确定最佳参数的步骤，增强了分类系统的可控制性。同时还提出了基于Hadoop/MapReduce大数据计算平台的并行特征扩展短文本分类算法，对类别频繁因子的计算和特征扩展方法进行了MapReduce并行化设计，提升了短文本分类准确率以及分类效率，提高了系统的可控性。