-
公开(公告)号:CN116186202A
公开(公告)日:2023-05-30
申请号:CN202310195366.8
申请日:2023-02-24
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/33 , G06F40/216 , G06N3/04 , G06N3/08
Abstract: 本公开提供了一种用于新词发现的方法和系统,方法包括:对输入的文本进行预处理以分割成多个文本片段;针对每个文本片段生成多个候选词;对于该多个候选词中的每个候选词,根据该候选词的针对词频的时域变化指标来确定该候选词为新词的概率分;以及在该概率分大于预定阈值概率分的情况下,确定该候选词为新词。