基于卡方统计和TF-CRF改进的TF-IDF计算装置

    公开(公告)号:CN111881668B

    公开(公告)日:2023-06-30

    申请号:CN202010783892.2

    申请日:2020-08-06

    Abstract: 本发明涉及基于卡方统计和TF‑CRF改进的TF‑IDF计算模型包括:数据载入模块、TF‑IDF计算模块、卡方统计模块、CRF计算模块、权重计算模块、权重排序模块、权重筛选模块和特征词保存模块,其特征在于模型工作步骤如下:步骤1.建立用于保存筛选后特征词的.txt文本文件;步骤2.数据模块的载入;步骤3.进行TF‑IDF计算模块的运算;步骤4.进行卡方统计模块的运算;步骤5.进行CRF计算模块的运算;步骤6.进行权重计算模块的运算;步骤7.权重排序模块的运算;步骤8.进行权重筛选模块的运算;步骤9.进行词保存模块的运算;步骤10.将步骤2‑9运算筛选得到的筛选后特征词保存在步骤1建立的文档中。

    基于卡方统计和TF-CRF改进的TF-IDF计算模型

    公开(公告)号:CN111881668A

    公开(公告)日:2020-11-03

    申请号:CN202010783892.2

    申请日:2020-08-06

    Abstract: 本发明涉及基于卡方统计和TF-CRF改进的TF-IDF计算模型包括:数据载入模块、TF-IDF计算模块、卡方统计模块、CRF计算模块、权重计算模块、权重排序模块、权重筛选模块和特征词保存模块,其特征在于模型工作步骤如下:步骤1.建立用于保存筛选后特征词的.txt文本文件;步骤2.数据模块的载入;步骤3.进行TF-IDF计算模块的运算;步骤4.进行卡方统计模块的运算;步骤5.进行CRF计算模块的运算;步骤6.进行权重计算模块的运算;步骤7.权重排序模块的运算;步骤8.进行权重筛选模块的运算;步骤9.进行词保存模块的运算;步骤10.将步骤2-9运算筛选得到的筛选后特征词保存在步骤1建立的文档中。

Patent Agency Ranking