基于Spark的并行化随机标签子集多标签文本分类方法

    公开(公告)号:CN106874478A

    公开(公告)日:2017-06-20

    申请号:CN201710086932.6

    申请日:2017-02-17

    CPC classification number: G06F17/30705 G06F2216/03

    Abstract: 本发明请求保护一种基于Spark大数据平台的并行化随机标签子集多标签文本分类方法。首先,读取大规模文本数据集和配置信息文件,创建分布式数据集RDD,将训练数据集和预测数据集缓存到内存中,完成初始化操作。其次,并行地随机生成规定数目的标签子集,由原始训练集为每一个标签子集生成一个新的训练集,再次,将新训练集的多个标签通过标签幂集法转换为单个标签,该数据集转化为一个单标签多类数据集,并行地为这些数据集训练一个基分类器。然后,进行预测将得到的单标签多类预测结果转化为多标签结果。最后,将所有预测结果进行汇总投票,得到测试集最终的多标签预测结果。本发明提高了分类的精度、大幅降低处理大规模多标签数据的学习时间。

Patent Agency Ranking