一种汉语自然语言文本的词语切分方法

    公开(公告)号:CN110969009A

    公开(公告)日:2020-04-07

    申请号:CN201911223545.8

    申请日:2019-12-03

    Abstract: 本发明属于自然语言文本处理技术领域,具体涉及一种汉语自然语言文本的词语切分方法。本发明基于无监督学习中的基于良好度量的方法设计,在其中加入了少量工作量的人工的步骤,即需要人工整理中心词,人工整理中心词的优点是使词表的质量和词语类别更加可控,进一步地,可以降低对语料词语分布特征的需求,特别适用于语料的词语分布不理想以及领域合成词的中心词数量较少的情况。本发明的词语切分方法适用于领域的自然语言文本,特别地,最适用于在领域合成词和非标准词较多的领域,其分词效果好于通用的开放域分词工具的效果,结果有益于进一步在相关领域自然语言处理的后续步骤,特别是在知识抽取或知识图谱中的应用中。

    一种汉语自然语言文本的词语切分方法

    公开(公告)号:CN110969009B

    公开(公告)日:2023-10-13

    申请号:CN201911223545.8

    申请日:2019-12-03

    Abstract: 本发明属于自然语言文本处理技术领域,具体涉及一种汉语自然语言文本的词语切分方法。本发明基于无监督学习中的基于良好度量的方法设计,在其中加入了少量工作量的人工的步骤,即需要人工整理中心词,人工整理中心词的优点是使词表的质量和词语类别更加可控,进一步地,可以降低对语料词语分布特征的需求,特别适用于语料的词语分布不理想以及领域合成词的中心词数量较少的情况。本发明的词语切分方法适用于领域的自然语言文本,特别地,最适用于在领域合成词和非标准词较多的领域,其分词效果好于通用的开放域分词工具的效果,结果有益于进一步在相关领域自然语言处理的后续步骤,特别是在知识抽取或知识图谱中的应用中。

Patent Agency Ranking