-
公开(公告)号：CN115599524B
公开(公告)日：2023-06-09
申请号：CN202211329376.8
申请日：2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种基于流数据和批数据协同调度处理的数据湖系统，属于数据处理技术领域；解决现有技术在构建数据湖或对数据湖中的数据进行处理时无法实现流数据与批数据处理任务的混合编排，效率低的问题；本发明的数据湖系统包括：集中式存储模块、计算引擎模块和数据管理模块；其中，集中式存储模块用于分类存储各个业务数据源的数据；数据管理模块用于进行数据处理任务编排，并基于预设的数据处理任务协同调度方法，对每个节点的数据处理任务进行调度处理；计算引擎模块用于基于数据处理任务需求，通过不同的计算引擎对集中式存储模块中的数据进行处理，并将处理后的数据基于数据处理任务的需求进行推送或存入集中式存储模块中。
-
公开(公告)号：CN115906844A
公开(公告)日：2023-04-04
申请号：CN202211361916.0
申请日：2022-11-02
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F40/295 , G06F40/242 , G06F18/214
Abstract: 本发明涉及一种基于规则模板的信息抽取方法和系统，利用规则模板融合行业术语词典与自然语言处理中常见的命名实体识别模型进行信息抽取，具体包括：基于抽取需求训练命名实体识别模型，得到训练好的命名实体识别模型；基于所述抽取需求建立信息抽取规则模板；解析所述信息抽取规则模板，调用行业术语词典和训练好的所述命名实体识别模型，对待抽取文本进行信息抽取得到抽取结果。本发明通过配置规则模板，有效融合行业术语与命名实体识别模型，解决了单以信息抽取模型抽取的信息内容规范固定、不够灵活的问题；以及行业信息抽取常见的长文本抽取中，抽取的信息之间的顺序性、规则性、关联性关系，避免了单一信息抽取模型的信息割裂。
-
公开(公告)号：CN115757655A
公开(公告)日：2023-03-07
申请号：CN202211424823.8
申请日：2022-11-14
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/28 , G06N7/01 , G06F16/215
Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法，属于大数据技术领域。本发明通过获取多个数据源的原始数据，基于清洗规则进行清洗处理，得到清洗后数据；基于数据规范规则对清洗后数据进行规范化处理，得到规范数据；所述数据规范规则包括标准代码映射库和规范化规则；使用数据集成算法集成所述规范数据得到集成后数据；构建元数据管理体系；基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法，对异地、异构数据做到表字段级别的血缘分析，支持快速准确的对数据质量回溯和定位问题，实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。
-
公开(公告)号：CN115438101A
公开(公告)日：2022-12-06
申请号：CN202211250887.0
申请日：2022-10-13
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/2458 , G06F16/215 , G06F16/22 , G06N20/00
Abstract: 本发明属于计算机科学的机器学习领域，尤其涉及一种基于特征形态和数据关系的数据特征构建系统和方法。本发明充分考虑了数据之间的关联性，根据数据之间的关联性构建DAG执行聚合图，并根据数据特征的统计值构建衍生的数据特征，然后根据DAG执行聚合图对数据特征进行聚合操作，对聚合后特征集进行过滤处理和降维处理。本发明通过DAG执行聚合图充分考虑了数据特征之间的关联性，通过构建衍生的数据特征满足了对业务多样性的适应，本发明的数据特征构建方法提高了特征的信息浓度，提升了数据特征构建的效率。
-
公开(公告)号：CN118069291B
公开(公告)日：2025-01-14
申请号：CN202410176473.0
申请日：2024-02-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/455 , H04L67/1001 , G06F9/50
Abstract: 本发明涉及一种基于业务和结果导向的弹性扩缩容方法，属于云计算技术领域。本发明方法包括：基于历史扩容数据预测当天负载高峰时段，基于各负载高峰时段对应的历史扩容数据和当天的任务信息确定各负载高峰时段的计划扩容执行时间和计划扩容策略；在各计划扩容策略执行的过程中，基于实时监控的业务指标值和系统性能指标值调整各计划扩容策略，并将调整后扩容策略记录至所述负载高峰时段对应的扩容数据中；其他时段，基于实时监控的业务指标值和系统性能指标值执行实时扩容和缩容并记录至相应时段对应的扩容数据中。本发明方法可以解决现有技术中扩缩容不能满足业务预期效果、扩缩容滞后以及当负载波动大时造成的性能损耗和不稳定问题。
-
Patent Agency Ranking
公开(公告)号：CN117332269A
公开(公告)日：2024-01-02
申请号：CN202311292957.3
申请日：2023-10-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/214 , G06F18/24 , G06N3/0455 , G06N3/08 , G06F16/23
Abstract: 本发明涉及一种基于标签体系的结构化数据增量学习方法，属于自然语言处理领域。该方法包括以下步骤：建立初始标签体系，基于所述初始标签体系对结构化数据集进行人工标注，构建第一训练样本集；构建Bert模型，基于第一训练样本集对Bert模型进行训练得到训练好的Bert模型；将业务数据输入训练好的Bert模型得到相应的特征值，基于所述特征值得到完善的标签体系；构建物联网监控模型，利用所述物联网监控模型对业务数据进行预测得到预测后的业务数据；利用所述完善的标签体系对预测后的业务数据进行标注，构建第二训练样本集；基于第二训练样本集对所述物联网监控模型进行训练得到训练好的物联网监控模型。该方法可自动生成业务所需的特征标签，利用完善的标签体系对业务数据进行标注，提高了模型的识别效果和训练效率。
-
公开(公告)号：CN115906844B
公开(公告)日：2023-08-29
申请号：CN202211361916.0
申请日：2022-11-02
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F40/295 , G06F40/242 , G06F18/214
Abstract: 本发明涉及一种基于规则模板的信息抽取方法和系统，利用规则模板融合行业术语词典与自然语言处理中常见的命名实体识别模型进行信息抽取，具体包括：基于抽取需求训练命名实体识别模型，得到训练好的命名实体识别模型；基于所述抽取需求建立信息抽取规则模板；解析所述信息抽取规则模板，调用行业术语词典和训练好的所述命名实体识别模型，对待抽取文本进行信息抽取得到抽取结果。本发明通过配置规则模板，有效融合行业术语与命名实体识别模型，解决了单以信息抽取模型抽取的信息内容规范固定、不够灵活的问题；以及行业信息抽取常见的长文本抽取中，抽取的信息之间的顺序性、规则性、关联性关系，避免了单一信息抽取模型的信息割裂。
-
公开(公告)号：CN115757655B
公开(公告)日：2023-07-07
申请号：CN202211424823.8
申请日：2022-11-14
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/28 , G06N7/01 , G06F16/215
Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法，属于大数据技术领域。本发明通过获取多个数据源的原始数据，基于清洗规则进行清洗处理，得到清洗后数据；基于数据规范规则对清洗后数据进行规范化处理，得到规范数据；所述数据规范规则包括标准代码映射库和规范化规则；使用数据集成算法集成所述规范数据得到集成后数据；构建元数据管理体系；基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法，对异地、异构数据做到表字段级别的血缘分析，支持快速准确的对数据质量回溯和定位问题，实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。
-
公开(公告)号：CN115438101B
公开(公告)日：2023-06-06
申请号：CN202211250887.0
申请日：2022-10-13
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/2458 , G06F16/215 , G06F16/22 , G06N20/00
Abstract: 本发明属于计算机科学的机器学习领域，尤其涉及一种基于特征形态和数据关系的数据特征构建系统和方法。本发明充分考虑了数据之间的关联性，根据数据之间的关联性构建DAG执行聚合图，并根据数据特征的统计值构建衍生的数据特征，然后根据DAG执行聚合图对数据特征进行聚合操作，对聚合后特征集进行过滤处理和降维处理。本发明通过DAG执行聚合图充分考虑了数据特征之间的关联性，通过构建衍生的数据特征满足了对业务多样性的适应，本发明的数据特征构建方法提高了特征的信息浓度，提升了数据特征构建的效率。
-
公开(公告)号：CN117332270A
公开(公告)日：2024-01-02
申请号：CN202311292970.9
申请日：2023-10-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/214 , G06F18/24 , G06F16/21 , G06F16/22 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及一种基于零样本重放的增量学习方法，属于机器学习方法领域。该方法包括以下步骤：获取物联网设备的实时监控数据；构建物联网监控模型，利用所述物联网监控模型对所述监控数据进行预测得到预测后的监控数据；利用完善的标签体系对预测后的监控数据进行自动化标注；基于零样本重放的方法构建训练样本集对所述物联网监控模型进行训练得到训练好的物联网监控模型；将标注后的监控数据输入训练好的物联网监控模型得到高亮显示的关键信息。该方法使用标注过的样本集进行模型训练，提高了模型抽取信息的准确率以及训练的效率；在增量学习过程中通过同时使用旧样本的样本特征和新样本，在避免产生灾难性遗忘的同时节省了数据存储的开销。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.052 seconds)
