-
公开(公告)号:CN112148872B
公开(公告)日:2024-04-02
申请号:CN202011043378.1
申请日:2020-09-28
Applicant: 国家计算机网络与信息安全管理中心广东分中心 , 恒安嘉新(北京)科技股份公司
IPC: G06F16/34 , G06F16/332 , G06F16/33 , G06F40/289 , G06F18/22
Abstract: 本公开实施例公开了一种自然对话主题分析方法、装置、电子设备、及存储介质,方法包括:获取多个自然对话文本,对任一自然对话文本进行切和分词处理得到分词序列;将根据所述多个自然对话文本得到的分词序列集合进行聚合分组分成多个分词序列子集合;对任一分词序列子集合提取核心关键词;对任一分词序列子集合中任一分词序列,分别计算任意两个核心关键词词序字符串的莱文斯坦距离以获取主题纯度;根据所述分词序列集合所包含的各分词序列子集合的主题纯度和对应的关键词集合,进行分析结果输出。本实施例的技术方案能够直接根据批量或海量的自然对话分析主题,无需人工参与,能提高主题分析效率。
-
公开(公告)号:CN112148872A
公开(公告)日:2020-12-29
申请号:CN202011043378.1
申请日:2020-09-28
Applicant: 国家计算机网络与信息安全管理中心广东分中心 , 恒安嘉新(北京)科技股份公司
IPC: G06F16/34 , G06F16/332 , G06F16/33 , G06F40/289 , G06K9/62
Abstract: 本公开实施例公开了一种自然对话主题分析方法、装置、电子设备、及存储介质,方法包括:获取多个自然对话文本,对任一自然对话文本进行切和分词处理得到分词序列;将根据所述多个自然对话文本得到的分词序列集合进行聚合分组分成多个分词序列子集合;对任一分词序列子集合提取核心关键词;对任一分词序列子集合中任一分词序列,分别计算任意两个核心关键词词序字符串的莱文斯坦距离以获取主题纯度;根据所述分词序列集合所包含的各分词序列子集合的主题纯度和对应的关键词集合,进行分析结果输出。本实施例的技术方案能够直接根据批量或海量的自然对话分析主题,无需人工参与,能提高主题分析效率。
-
公开(公告)号:CN109934251B
公开(公告)日:2021-08-06
申请号:CN201811615581.4
申请日:2018-12-27
Applicant: 国家计算机网络与信息安全管理中心广东分中心 , 北京天融信网络安全技术有限公司
IPC: G06K9/62
Abstract: 本发明涉及一种用于小语种文本识别的方法,包括以下步骤:S1.构建来源于不同语种的训练文本集;S2.对训练文本集中的文本进行基于字节的N‑gramrank特征的提取;S3.对训练文本集中的文本进行基于互信息的度量特征的提取,即计算文本中的所有信息字节在单个语种中的信息度量;S4.对训练文本集中的文本进行基于转移概率的概率特征的提取,即计算文本中所有相邻字节能在单个语种中表达完整信息的概率;S5.利用步骤S2~S4提取的特征训练分类器;S6.对待识别的文本按照步骤S2~S4进行特征的提取,然后将提取的特征输入分类器中进行识别,分类器输出语种识别结果。
-
公开(公告)号:CN109934251A
公开(公告)日:2019-06-25
申请号:CN201811615581.4
申请日:2018-12-27
Applicant: 国家计算机网络与信息安全管理中心广东分中心 , 北京天融信网络安全技术有限公司
IPC: G06K9/62
Abstract: 本发明涉及一种用于小语种文本识别的方法,包括以下步骤:S1.构建来源于不同语种的训练文本集;S2.对训练文本集中的文本进行基于字节的N-gramrank特征的提取;S3.对训练文本集中的文本进行基于互信息的度量特征的提取,即计算文本中的所有信息字节在单个语种中的信息度量;S4.对训练文本集中的文本进行基于转移概率的概率特征的提取,即计算文本中所有相邻字节能在单个语种中表达完整信息的概率;S5.利用步骤S2~S4提取的特征训练分类器;S6.对待识别的文本按照步骤S2~S4进行特征的提取,然后将提取的特征输入分类器中进行识别,分类器输出语种识别结果。
-
-
-