公开(公告)号：CN103970733B

公开(公告)日：2017-07-14

申请号：CN201410143875.7

申请日：2014-04-10

Applicant: 中国信息安全测评中心 ,  北京大学

Inventor： 陈海强 ,  程军军 ,  周欣 ,  武嘉怡 ,  陈薇 ,  王腾蛟

IPC: G06F17/28

Abstract: 本发明涉及一种基于图结构的中文新词识别方法，其步骤包括：1）根据词之间的邻接关系将文档集抽象成有权有向图；2）遍历所述有权有向图的所有点，基于共现率选出每一个点的备选新词；3）对所述备选新词进行路径拓展，找到共现率始终大于阈值的最大权值路径，从而得到完整的备选新词；4）根据信息熵对所述完整的备选新词进行过滤，得到最终的备选新词集合。本发明首次提出了将文档集抽象为图结构进行新词发现和识别的方法，将新词发现问题转化为在有向有权图上的最大权重路径寻找问题，很好地利用了图的特点，是一种时间复杂度较低、召回率和准确率都较高的新词发现和识别方法。

公开(公告)号：CN103970733A

公开(公告)日：2014-08-06

申请号：CN201410143875.7

申请日：2014-04-10

Applicant: 北京大学

Inventor： 武嘉怡 ,  陈薇 ,  王腾蛟

IPC: G06F17/28

Abstract: 本发明涉及一种基于图结构的中文新词识别方法，其步骤包括：1）根据词之间的邻接关系将文档集抽象成有权有向图；2）遍历所述有权有向图的所有点，基于共现率选出每一个点的备选新词；3）对所述备选新词进行路径拓展，找到共现率始终大于阈值的最大权值路径，从而得到完整的备选新词；4）根据信息熵对所述完整的备选新词进行过滤，得到最终的备选新词集合。本发明首次提出了将文档集抽象为图结构进行新词发现和识别的方法，将新词发现问题转化为在有向有权图上的最大权重路径寻找问题，很好地利用了图的特点，是一种时间复杂度较低、召回率和准确率都较高的新词发现和识别方法。