公开(公告)号：CN112214994B

公开(公告)日：2021-06-01

申请号：CN202011079701.0

申请日：2020-10-10

Applicant: 苏州大学

Inventor： 李正华 ,  周厚全 ,  侯洋 ,  周仕林 ,  张民

IPC: G06F40/242 ,  G06F40/289 ,  G06N3/02 ,  G06N3/08 ,  G06N20/00

Abstract: 本申请公开了一种基于多级词典的分词方法，该方法采用至少两个词典以辅助分词模型进行分词，在对字符进行表示的时候，不仅生成常规的向量表示，还生成该字符在至少两个词典中的特征表示，最终根据向量表示和特征表示确定该字符的成词标签。该方法通过区分不同词的地位和重要性，从而提升整体方案的分词性能，提升领域适应能力和分词准确性。此外，本申请还提供了一种基于多级词典的分词装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。

公开(公告)号：CN112214994A

公开(公告)日：2021-01-12

申请号：CN202011079701.0

申请日：2020-10-10

Applicant: 苏州大学

Inventor： 李正华 ,  周厚全 ,  侯洋 ,  周仕林 ,  张民

IPC: G06F40/242 ,  G06F40/289 ,  G06N3/02 ,  G06N3/08 ,  G06N20/00

Abstract: 本申请公开了一种基于多级词典的分词方法，该方法采用至少两个词典以辅助分词模型进行分词，在对字符进行表示的时候，不仅生成常规的向量表示，还生成该字符在至少两个词典中的特征表示，最终根据向量表示和特征表示确定该字符的成词标签。该方法通过区分不同词的地位和重要性，从而提升整体方案的分词性能，提升领域适应能力和分词准确性。此外，本申请还提供了一种基于多级词典的分词装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。