-
公开(公告)号:CN119377792A
公开(公告)日:2025-01-28
申请号:CN202411960028.X
申请日:2024-12-30
Applicant: 中电科大数据研究院有限公司 , 太极计算机股份有限公司
IPC: G06F18/2413 , G06F18/213 , G06F18/243
Abstract: 本申请公开了一种数据分级方法、系统及相关装置,用于对数据进行快速且准确的分级。本申请方法包括:获取数据来源信息,基于所述数据来源信息得到数据清单;根据所述数据清单,通过预设分类模型提取目标数据;获取定性要素和定量要素,基于所述定性要素和所述分类模型对所述目标数据进行分级得到初始级别;判断已得到所述初始级别后的所述目标数据是否包含敏感信息;若是,则设定要素权重,基于所述定量要素和所述要素权重对目标数据得到所述目标数据的二次定级,在得到所述目标数据的所述二次定级后,结合所述初始级别对所述二次定级进行调整,最终得到目标数据的目标级别;若否,则将所述目标数据的所述初始级别确定为所述目标级别。
-
公开(公告)号:CN117453789A
公开(公告)日:2024-01-26
申请号:CN202311595453.9
申请日:2023-11-27
Applicant: 中电科大数据研究院有限公司
Abstract: 本申请实施例公开了一种自适应的物联网数据管理方法及相关设备,可根据接入数据量的大小,并基于不同的时序数据库、感知数据库、数据仓库来实现对物联网数据的统一管理,有效减少资源的浪费,从而满足物联网数据的管理需求。本申请包括:获取目标物联网数据,所述目标物联网数据包括物联网数据源信息和实时的物联网数据信息;确定单位时间内获取到的所述目标物联网数据的数据总量以及每秒获取所述目标物联网数据的速率;使用Z‑分数计算所述数量总量的第一偏离分数和所述每秒获取所述目标物联网数据的速率的第二偏离分数;根据所述第一偏离分数和所述第二偏离分数计算总偏离分数;根据所述总偏离分数确定目标阈值。
-
公开(公告)号:CN119557424B
公开(公告)日:2025-04-25
申请号:CN202510068377.9
申请日:2025-01-16
Applicant: 中电科大数据研究院有限公司
IPC: G06F16/334 , G06F16/34 , G06F40/284 , G06F40/30 , G06F40/205 , G06N3/042 , G06N3/0464 , G06N3/09
Abstract: 本申请公开了一种数据分析方法、系统以及存储介质,用于自然语言处理领域。本申请方法包括:获取用户输入的自然语言;构建一个将所述自然语言转换为语义查询语句的语义数据模型;将所述语义数据模型结合自定义规则构建语义解析器;将所述自然语言输入所述语义解析器进行解析,以获取语义查询语句;将所述语义查询语句输入语义修正器进行修正,以获取目标语义查询语句;通过语义翻译器将所述目标语义查询语句转换为结构化查询语句;将所述结构化查询语句输入所述数据库进行查询,以获取查询结果。
-
公开(公告)号:CN119357177B
公开(公告)日:2025-04-15
申请号:CN202411920739.4
申请日:2024-12-25
Applicant: 中电科大数据研究院有限公司 , 中国电子科技集团公司第十五研究所
IPC: G06F16/215 , G06F18/2433 , G06F18/15 , G06N5/04
Abstract: 本申请公开了一种基于大模型的数据质量分析报告生成方法、系统、装置及存储介质,生成的质量报告具有深入分析和标准化建议,使得报告内容较为丰富,从而可满足复杂多变的业务需求。本申请方法包括:获取输入数据;对输入的数据进行缺失值、重复数据和异常值处理,以得到预处理数据;将所述预处理数据进行分类,以获取日志类型数据和原始数据;将目标知识库RAG集成于垂直大模型,并对所述垂直大模型进行微调,以获取垂直微调大模型;将所述日志类型数据和所述原始数据输入所述垂直微调大模型;获取所述垂直微调大模型生成的校验规则;在确定所述校验规则符合规则符合要求之后,根据所述校验规则生成高质量分析报告。
-
公开(公告)号:CN119557424A
公开(公告)日:2025-03-04
申请号:CN202510068377.9
申请日:2025-01-16
Applicant: 中电科大数据研究院有限公司
IPC: G06F16/334 , G06F16/34 , G06F40/284 , G06F40/30 , G06F40/205 , G06N3/042 , G06N3/0464 , G06N3/09
Abstract: 本申请公开了一种数据分析方法、系统以及存储介质,用于自然语言处理领域。本申请方法包括:获取用户输入的自然语言;构建一个将所述自然语言转换为语义查询语句的语义数据模型;将所述语义数据模型结合自定义规则构建语义解析器;将所述自然语言输入所述语义解析器进行解析,以获取语义查询语句;将所述语义查询语句输入语义修正器进行修正,以获取目标语义查询语句;通过语义翻译器将所述目标语义查询语句转换为结构化查询语句;将所述结构化查询语句输入所述数据库进行查询,以获取查询结果。
-
公开(公告)号:CN117640644A
公开(公告)日:2024-03-01
申请号:CN202311661015.8
申请日:2023-12-04
Applicant: 中电科大数据研究院有限公司
IPC: H04L67/1004 , H04L67/2885 , H04L67/2895 , H04L67/568 , H04L67/63 , H04L45/76 , H04L43/08 , H04L43/045 , H04L12/66 , H04L67/12
Abstract: 本申请公开了一种涉海类数据交易的负载均衡的处理方法、系统及相关装置,用于最大程度利用服务器性能对请求进行转发处理,实现负载均衡。本申请方法包括:基于定时任务库在网关层上配置定时任务,周期性执行定时任务并动态采集网关层上各个网关节点所在服务器的服务器性能指标;针对各个服务器,基于服务器性能指标计算指标利用率,并将指标利用率存入目标Redis缓存;基于自动活性监测机制,通过硬件层面将用户请求均衡转发至网关层;通过Nignx反向代理层获取第一服务器和第二服务器的负载指标信息,负载指标信息包括:CPU利用率、内存利用率、I/O利用率和带宽利用率;Nignx反向代理层通过预配置的Lua脚本从目标Resis缓存中读取指标利用率,并计算加权负载值。
-
公开(公告)号:CN116028192A
公开(公告)日:2023-04-28
申请号:CN202310315993.0
申请日:2023-03-29
Applicant: 中电科大数据研究院有限公司
Abstract: 本申请公开了一种多源异构数据采集方法、装置和存储介质,旨在通过分布式系统实现通用式多源异构数据采集,提高数据处理效率。本申请方法包括:确定数据源的类型,并配置所述数据源的数据源信息;配置任务调度器,所述任务调度器用于定时执行任务、周期执行任务、确定服务节点以及确定执行策略;创建数据采集任务,所述数据采集任务包括数据来源、数据目标源以及数据采集策略;通过配置好的任务调度器,按照所述数据采集策略执行所述数据采集任务;输出数据采集结果。
-
公开(公告)号:CN119357177A
公开(公告)日:2025-01-24
申请号:CN202411920739.4
申请日:2024-12-25
Applicant: 中电科大数据研究院有限公司 , 中国电子科技集团公司第十五研究所
IPC: G06F16/215 , G06F18/2433 , G06F18/15 , G06N5/04
Abstract: 本申请公开了一种基于大模型的数据质量分析报告生成方法、系统、装置及存储介质,生成的质量报告具有深入分析和标准化建议,使得报告内容较为丰富,从而可满足复杂多变的业务需求。本申请方法包括:获取输入数据;对输入的数据进行缺失值、重复数据和异常值处理,以得到预处理数据;将所述预处理数据进行分类,以获取日志类型数据和原始数据;将目标知识库RAG集成于垂直大模型,并对所述垂直大模型进行微调,以获取垂直微调大模型;将所述日志类型数据和所述原始数据输入所述垂直微调大模型;获取所述垂直微调大模型生成的校验规则;在确定所述校验规则符合规则符合要求之后,根据所述校验规则生成高质量分析报告。
-
公开(公告)号:CN119003920A
公开(公告)日:2024-11-22
申请号:CN202411481452.6
申请日:2024-10-23
Applicant: 中电科大数据研究院有限公司
IPC: G06F16/958 , G06F16/951 , G06N3/042 , G06N3/0464
Abstract: 本申请公开了一种网页信息分类方法、装置及存储介质,用于信息分类领域。本申请方法包括:使用Python的Scrapy库从目标网页获取网页中的静态数据;使用Selenium自动化工具从目标网页获取网页的动态数据;基于所述静态数据和所述动态数据构建DOM树形结构;使用XLM‑RoBERTa预训练语言模型对已构建DOM树形结构的所述静态数据和所述动态数据进行向量化,转化为数值向量;将DOM树形结构转换为图结构,并将数值向量输入卷积图神经网络模型中,通过卷积图神经网络模型对图结构进行编码,生成特征向量;将所述特征向量输入预配置的分类模型中进行计算,通过预配置的分类模型对所述静态数据和所述动态数据进行分类。
-
公开(公告)号:CN117609751A
公开(公告)日:2024-02-27
申请号:CN202311559810.6
申请日:2023-11-20
Applicant: 中电科大数据研究院有限公司
IPC: G06F18/211 , G06F18/214 , G06F18/21 , G06N3/0442 , G06N3/084
Abstract: 本申请公开了一种基于Flink动态水位线调整的方法及相关设备,用于动态的调整Flink水位线,无需使用人工进行干预,且该策略可以根据具体业务需求进行灵活配置和优化,适应不同业务场景下的数据处理要求,具有通用性,从而提高数据的准确性,可满足不同延迟要求和实际情况下窗口计算结果准确性需求。本申请方法包括:从流式数据源中采集目标数据集合,所述目标数据集合中包含有多个流式时间序列数据;构建初始时间训练模型,所述初始时间训练中内嵌有LSTM时间序列模型;将所述目标数据集合输入所述初始时间训练模型中训练并生成目标时间训练模型;获取多个目标流式时间序列数据。
-
-
-
-
-
-
-
-
-