-
公开(公告)号:CN116150263A
公开(公告)日:2023-05-23
申请号:CN202211240196.2
申请日:2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎,属于涉及图计算技术领域,解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括:分布式图存储引擎模块,采用“多Master‑多Worker”的方式构建分布式图数据库系统,用于对图数据进行管控及数据处理操作;Cyper编译器,用于实现标准OpenCypher语言的语法及语义解译,将解译后的OpenCypher操作命令编译为分布式逻辑执行计划,并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划;分布式图执行引擎模块,用于为用户提供实时图查询和离线图分析服务;图分析算法模块,用于构建图谱挖掘模型;OpenCypher接口模块,用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
公开(公告)号:CN115906844A
公开(公告)日:2023-04-04
申请号:CN202211361916.0
申请日:2022-11-02
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F40/295 , G06F40/242 , G06F18/214
Abstract: 本发明涉及一种基于规则模板的信息抽取方法和系统,利用规则模板融合行业术语词典与自然语言处理中常见的命名实体识别模型进行信息抽取,具体包括:基于抽取需求训练命名实体识别模型,得到训练好的命名实体识别模型;基于所述抽取需求建立信息抽取规则模板;解析所述信息抽取规则模板,调用行业术语词典和训练好的所述命名实体识别模型,对待抽取文本进行信息抽取得到抽取结果。本发明通过配置规则模板,有效融合行业术语与命名实体识别模型,解决了单以信息抽取模型抽取的信息内容规范固定、不够灵活的问题;以及行业信息抽取常见的长文本抽取中,抽取的信息之间的顺序性、规则性、关联性关系,避免了单一信息抽取模型的信息割裂。
-
公开(公告)号:CN115757655A
公开(公告)日:2023-03-07
申请号:CN202211424823.8
申请日:2022-11-14
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/28 , G06N7/01 , G06F16/215
Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法,属于大数据技术领域。本发明通过获取多个数据源的原始数据,基于清洗规则进行清洗处理,得到清洗后数据;基于数据规范规则对清洗后数据进行规范化处理,得到规范数据;所述数据规范规则包括标准代码映射库和规范化规则;使用数据集成算法集成所述规范数据得到集成后数据;构建元数据管理体系;基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法,对异地、异构数据做到表字段级别的血缘分析,支持快速准确的对数据质量回溯和定位问题,实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。
-
公开(公告)号:CN115438101A
公开(公告)日:2022-12-06
申请号:CN202211250887.0
申请日:2022-10-13
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/2458 , G06F16/215 , G06F16/22 , G06N20/00
Abstract: 本发明属于计算机科学的机器学习领域,尤其涉及一种基于特征形态和数据关系的数据特征构建系统和方法。本发明充分考虑了数据之间的关联性,根据数据之间的关联性构建DAG执行聚合图,并根据数据特征的统计值构建衍生的数据特征,然后根据DAG执行聚合图对数据特征进行聚合操作,对聚合后特征集进行过滤处理和降维处理。本发明通过DAG执行聚合图充分考虑了数据特征之间的关联性,通过构建衍生的数据特征满足了对业务多样性的适应,本发明的数据特征构建方法提高了特征的信息浓度,提升了数据特征构建的效率。
-
公开(公告)号:CN118193565A
公开(公告)日:2024-06-14
申请号:CN202311844217.6
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/242 , G06F16/2455 , G06F16/25 , G06F16/245 , G06F9/50
Abstract: 本发明涉及一种分布式大数据计算引擎,包括:统一接口模块、分布式计算引擎模块和运算结果处理模块;统一接口模块用于接收计算任务,并基于计算任务的数据类型标识进行任务解析,以启动对应的计算引擎;分布式计算引擎模块包括流计算引擎、批计算引擎和批流一体计算引擎,分别用于读取并执行对应的计算任务;运算结果处理模块用于采集各个计算引擎的运行状态数据,进行运行状态监控并向客户端返回任务计算结果。本发明解决了现有技术中的大数据计算引擎在面对多种复杂的计算场景时,无法针对多类型的数据处理任务提供并行高效的实时计算,以进行实时快速响应的问题。
-
公开(公告)号:CN118113424A
公开(公告)日:2024-05-31
申请号:CN202311844662.2
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种分布式流计算引擎,包括:控制节点模块,计算节点模块和Zookeeper集群模块;计算节点模块包括多个物理计算节点,用于监测和执行对应的流计算任务;Zookeeper集群模块部署在多个服务器上,用于存储多个物理计算节点的所有状态信息和任务信息,以供计算节点模块和控制节点模块进行实时监控调用;控制节点模块用于基于流处理任务生成有向无环图;并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点进行处理,并基于每个物理计算节点的资源信息进行任务调度,以实现流数据的低延时处理。本发明解决了现有技术中的流数据处理由于硬件资源受限导致数据处理瓶颈,进而引起数据处理延迟的问题。
-
公开(公告)号:CN117332269A
公开(公告)日:2024-01-02
申请号:CN202311292957.3
申请日:2023-10-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/214 , G06F18/24 , G06N3/0455 , G06N3/08 , G06F16/23
Abstract: 本发明涉及一种基于标签体系的结构化数据增量学习方法,属于自然语言处理领域。该方法包括以下步骤:建立初始标签体系,基于所述初始标签体系对结构化数据集进行人工标注,构建第一训练样本集;构建Bert模型,基于第一训练样本集对Bert模型进行训练得到训练好的Bert模型;将业务数据输入训练好的Bert模型得到相应的特征值,基于所述特征值得到完善的标签体系;构建物联网监控模型,利用所述物联网监控模型对业务数据进行预测得到预测后的业务数据;利用所述完善的标签体系对预测后的业务数据进行标注,构建第二训练样本集;基于第二训练样本集对所述物联网监控模型进行训练得到训练好的物联网监控模型。该方法可自动生成业务所需的特征标签,利用完善的标签体系对业务数据进行标注,提高了模型的识别效果和训练效率。
-
公开(公告)号:CN115906844B
公开(公告)日:2023-08-29
申请号:CN202211361916.0
申请日:2022-11-02
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F40/295 , G06F40/242 , G06F18/214
Abstract: 本发明涉及一种基于规则模板的信息抽取方法和系统,利用规则模板融合行业术语词典与自然语言处理中常见的命名实体识别模型进行信息抽取,具体包括:基于抽取需求训练命名实体识别模型,得到训练好的命名实体识别模型;基于所述抽取需求建立信息抽取规则模板;解析所述信息抽取规则模板,调用行业术语词典和训练好的所述命名实体识别模型,对待抽取文本进行信息抽取得到抽取结果。本发明通过配置规则模板,有效融合行业术语与命名实体识别模型,解决了单以信息抽取模型抽取的信息内容规范固定、不够灵活的问题;以及行业信息抽取常见的长文本抽取中,抽取的信息之间的顺序性、规则性、关联性关系,避免了单一信息抽取模型的信息割裂。
-
公开(公告)号:CN115757655B
公开(公告)日:2023-07-07
申请号:CN202211424823.8
申请日:2022-11-14
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/28 , G06N7/01 , G06F16/215
Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法,属于大数据技术领域。本发明通过获取多个数据源的原始数据,基于清洗规则进行清洗处理,得到清洗后数据;基于数据规范规则对清洗后数据进行规范化处理,得到规范数据;所述数据规范规则包括标准代码映射库和规范化规则;使用数据集成算法集成所述规范数据得到集成后数据;构建元数据管理体系;基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法,对异地、异构数据做到表字段级别的血缘分析,支持快速准确的对数据质量回溯和定位问题,实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。
-
公开(公告)号:CN115438101B
公开(公告)日:2023-06-06
申请号:CN202211250887.0
申请日:2022-10-13
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/2458 , G06F16/215 , G06F16/22 , G06N20/00
Abstract: 本发明属于计算机科学的机器学习领域,尤其涉及一种基于特征形态和数据关系的数据特征构建系统和方法。本发明充分考虑了数据之间的关联性,根据数据之间的关联性构建DAG执行聚合图,并根据数据特征的统计值构建衍生的数据特征,然后根据DAG执行聚合图对数据特征进行聚合操作,对聚合后特征集进行过滤处理和降维处理。本发明通过DAG执行聚合图充分考虑了数据特征之间的关联性,通过构建衍生的数据特征满足了对业务多样性的适应,本发明的数据特征构建方法提高了特征的信息浓度,提升了数据特征构建的效率。
-
-
-
-
-
-
-
-
-