-
公开(公告)号:CN113988011B
公开(公告)日:2025-04-11
申请号:CN202110951502.2
申请日:2021-08-19
Applicant: 中核核电运行管理有限公司
IPC: G06F40/126 , G06F40/151 , G06F40/30
Abstract: 本公开属于核电技术领域,具体涉及一种文档内容识别方法及装置。本公开根据核电厂的编码特性,设计了一种基于正则匹配的预设编码查找的方法。此方法能快速遍历文档文本内容,查找出文档中所有预设编码。本公开设计了一种基于编码库和编码位置系数的相似度匹配方法,通过编码位置系数的计算将预设编码与编码库中编码库进行相似度匹配,能在高召回率的基础上,以高准确率筛选出符合期望的预设编码。解决核电厂不同类型文档中关键编码的高准确率自动识别和提取的问题。
-
公开(公告)号:CN114168809B
公开(公告)日:2024-08-09
申请号:CN202111402289.6
申请日:2021-11-22
Applicant: 中核核电运行管理有限公司
IPC: G06F16/903 , G06F40/126
Abstract: 本公开属于核电技术领域,具体涉及一种基于相似度的文档字符串编码匹配方法及装置。本公开中针对待匹配字符串,根据预设的编码规则生成待匹配字符串对应的正则表达式;针对目标文档,根据编码规则将目标文档的文本内容生成候选字符串集;将候选字符串集中的字符串与正则表达式进行匹配,保留与正则表达式匹配的字符串,滤除与正则表达式不匹配的字符串;采用SimHash算法分别生成保留的字符串以及候选字符串集中每个字符串的SimHash签名,确定保留的字符串的SimHash签名与候选字符串集中每个字符串的SimHash之间的汉明距离,输出汉明距离低于阈值的字符串及该字符串在目标文档中的位置。有效的提高了文档的解析效率,提高了编码模式匹配的速度。
-
公开(公告)号:CN114168808B
公开(公告)日:2024-08-09
申请号:CN202111387759.6
申请日:2021-11-22
Applicant: 中核核电运行管理有限公司
IPC: G06F16/903 , G06F40/126
Abstract: 本公开属于核电技术领域,具体涉及一种基于正则表达式的文档字符串编码识别方法及装置。本公开根据正则表达式确定最佳因子集合;采用CW算法确定出现所述最佳因子集合中的最佳因子的文档记录,并将确定的文档记录添加到候选集合中;根据所述正则表达式确定的DFA自动机对候选集合中的最佳因子的字符串进行验证,将得到成功匹配的字符串。在查询正则表达式的时候定义了一个最佳因子,简化了使用正则表达式来查询的方式。根据最佳因子的个数选择CW算法对提取出来的最佳因子集合快速地查询,有效地过滤掉不包含最佳因子的字符串集合,得到候选字符串,并进一步使用DFA自动机对候选集中的字符串编码进行验证,从而提高整体的查询性能。
-
公开(公告)号:CN115964457A
公开(公告)日:2023-04-14
申请号:CN202111192730.2
申请日:2021-10-13
Applicant: 中核核电运行管理有限公司
IPC: G06F16/33 , G06F16/35 , G06F16/903
Abstract: 本发明涉及数据处理技术领域,具体公开了一种文档字符串编码模糊匹配方法。该方法包括:构建带有标签的字符串编码信息库;获取文档字符串编码信息,对其进行预处理和特征选择,形成特征集合;对所述特征集合中的特征项进行特征提取,构建编码向量;构建支持向量机分类器,通过所述编码向量对支持向量机进行训练并获得文档编码的分类结果标签;对文档字符串进行模糊匹配时,对所查询的字符串进行划分并添加索引;在字符串编码查询时,进行字符串编码长度过滤及匹配过滤,将所述字符串添加到结果合集中。该方法能够提高文本分类效率和分类准确精度,且能够反映不同长度段落对匹配结果不影响的差异,同时编辑距离验证操作次数较少。
-
公开(公告)号:CN115982419A
公开(公告)日:2023-04-18
申请号:CN202111192690.1
申请日:2021-10-13
Applicant: 中核核电运行管理有限公司
IPC: G06F16/903 , G06F16/33 , G06F16/35 , G06N3/0442 , G06N3/045 , G06N3/08
Abstract: 本发明涉及数据信息处理技术领域,具体公开了一种文档字符串内容识别方法。该方法包括:利用Bi‑LSTM‑CRF方法对字符串的编码规则进行分类,构建特定字符串识别模型;构建Bi‑LSTM‑CRF模型,利用特定场景中特定字符串作为字符串编码规则训练集,获得对字符串编码规则分类模型;将文档中的特定字符串与所述字符串编码规则分类模型进行匹配,获得特定字符串的匹配结果;将所述匹配结果与构建的所述特定字符串识别模型进行匹配识别后,生成编码结果集,并在原文档中标注编码。本方法能够在无先验精确编码规则知识前提下,依然能够有效准确识别特定字符串;相比现有的单纯利用字分布式字符串实体识别系统,基于Bi‑LSTM‑CRF模型的实体识别模型取得更好表现,具有更好的准确性。
-
公开(公告)号:CN115982344A
公开(公告)日:2023-04-18
申请号:CN202111192689.9
申请日:2021-10-13
Applicant: 中核核电运行管理有限公司
IPC: G06F16/35 , G06V10/762 , G06F18/23213 , G06F40/216
Abstract: 本发明涉及文本数据挖掘技术领域,具体公开了一种文档自动聚类方法。该方法包括:采集待处理的文档,获取所述文档的文本数据,并进行分词和停用词过滤,获得文本集合特征词汇合集;利用TF‑IDF方法构建空间特征模型,对所述文本集合特征词汇合集进行处理,获得文本特征权重向量;利用改进差分进化算法,对所述文本特征权重向量进行选择和提取,并获得最优特征向量;利用最优特征向量进行聚类,并将所有文档聚类于所设定数目的簇中。本发明能够更好的发现文本集合内在的类别特性,用来发现无结构的文本集合中的“潜在概念”信息,这些信息有助于组织和搜索数量庞大的文档集合;此外本发明在文档处理过程中有效的减少人为的因素影响和人力资源的浪费。
-
公开(公告)号:CN114168809A
公开(公告)日:2022-03-11
申请号:CN202111402289.6
申请日:2021-11-22
Applicant: 中核核电运行管理有限公司
IPC: G06F16/903 , G06F40/126
Abstract: 本公开属于核电技术领域,具体涉及一种基于相似度的文档字符串编码匹配方法及装置。本公开中针对待匹配字符串,根据预设的编码规则生成待匹配字符串对应的正则表达式;针对目标文档,根据编码规则将目标文档的文本内容生成候选字符串集;将候选字符串集中的字符串与正则表达式进行匹配,保留与正则表达式匹配的字符串,滤除与正则表达式不匹配的字符串;采用SimHash算法分别生成保留的字符串以及候选字符串集中每个字符串的SimHash签名,确定保留的字符串的SimHash签名与候选字符串集中每个字符串的SimHash之间的汉明距离,输出汉明距离低于阈值的字符串及该字符串在目标文档中的位置。有效的提高了文档的解析效率,提高了编码模式匹配的速度。
-
公开(公告)号:CN114168798A
公开(公告)日:2022-03-11
申请号:CN202111387757.7
申请日:2021-11-22
Applicant: 中核核电运行管理有限公司
IPC: G06F16/901 , G06F16/903 , G06F40/126
Abstract: 本公开属于核电技术领域,具体涉及一种文本存储管理与检索方法及装置。本公开运用了分布式文档系统存储核电厂多堆型多类别海量非结构化文档以及对应的分析结果文档,并将文档存储地址作为文档映射存储在关系型数据库中,解决了海量非结构化文档存储问题,利用结果文档的分析结果,设计了基于跳表的分级索引、存储数据快照的四元组信息,使用TF‑IWF方法针对性的对核电厂多堆型多类别的非结构化文档设计了检索结果排序方式的重要指标,相比使用现有的检索引擎架构,本发明更具有轻型、快速以及针对性的优点,因而具有更强的实用性。
-
公开(公告)号:CN114168807B
公开(公告)日:2025-03-14
申请号:CN202111387749.2
申请日:2021-11-22
Applicant: 中核核电运行管理有限公司
IPC: G06F16/903 , G06F40/126
Abstract: 本公开属于核电技术领域,具体涉及一种字符串匹配方法及装置。本公开中,在每读取一页文档的情况下,判断该页文档全部字符在位图对应位的范围内目标数值的个数是否符合所述特定字符串字符的个数,在判断该页文档全部字符在位图对应位的范围内目标数值的个数符合所述特定字符串字符的个数时,根据位图对应位值为目标数值的字符在该页文档中出现的位置,判断该页文档中是否存在特定字符串,本公开运用位图算法的思想,使计算机能够进行快速匹配的同时消耗较小的内存。此外,本公开设计将位图与对应的键值对键值对集合结合起来,达到实现特定字符串匹配的目的。
-
公开(公告)号:CN114168798B
公开(公告)日:2024-08-09
申请号:CN202111387757.7
申请日:2021-11-22
Applicant: 中核核电运行管理有限公司
IPC: G06F16/901 , G06F16/903 , G06F40/126
Abstract: 本公开属于核电技术领域,具体涉及一种文本存储管理与检索方法及装置。本公开运用了分布式文档系统存储核电厂多堆型多类别海量非结构化文档以及对应的分析结果文档,并将文档存储地址作为文档映射存储在关系型数据库中,解决了海量非结构化文档存储问题,利用结果文档的分析结果,设计了基于跳表的分级索引、存储数据快照的四元组信息,使用TF‑IWF方法针对性的对核电厂多堆型多类别的非结构化文档设计了检索结果排序方式的重要指标,相比使用现有的检索引擎架构,本发明更具有轻型、快速以及针对性的优点,因而具有更强的实用性。
-
-
-
-
-
-
-
-
-