一种分布式海量文件传输方法

    公开(公告)号:CN115695417A

    公开(公告)日:2023-02-03

    申请号:CN202211409880.9

    申请日:2022-11-04

    Abstract: 为了满足用户对不同类型、不同发展阶段的企业或者个人的数据需求,会对生产数据的采集越来越多元化和精细化,同时数据传输的规模也会越来越大,传输要求也在向安全性、高可用、快速、低延迟等方面逐渐提升。本发明公开了一种通过结合微服务、SFTP、kafka、ETL等第三方组件结合组成的海量文件传输方法,其支持多个源端数据同时采集传输、入库,根据监控中心监控情况和实际使用情况每个省的链路中的服务支撑平行扩展,同时支持多个省同时进行数据传输,依据源端标识进行指定目标端入库。所提出的方法通过使用微服务实现数据定时采集、数据与文件相互转换、数据传输的链路监控,通过与kafka和ETL等第三方开源工具组合完成数据传输。此方法可以实现不同数据库的、复杂环境的、错峰的、大量的、一定时效性的、可靠的数据传输,极大地减少了人员维护成本,实现自动化的数据传输方法。

    电网多源数据整合方法及系统
    6.
    发明公开

    公开(公告)号:CN117520329A

    公开(公告)日:2024-02-06

    申请号:CN202311601319.5

    申请日:2023-11-28

    Abstract: 本发明公开了电网多源数据整合方法及系统,应用于数据处理技术领域,该方法包括:通过采集多源数据的采集来源信息、采集目标、数据类别,并进行数据质量评估,得到质量评估系数。根据质量评估系数对大数据库中各源数据进行标记。获取数据整合请求信息,并基于数据整合请求信息、数据标记进行数据筛选,提取整合各源数据。根据数据整合请求信息、整合各源数据,获取多级整合策略。基于质量评估系数对多级整合策略进行整合数据可靠性概率计算,确定整合数据可靠概率。利用可靠概率阈值对整合数据进行确认或调整优化。解决了现有技术中电网多源数据整合方案缺少对数据的准确性评估方法,导致数据整合结果的准确性较低的技术问题。

    一种基于数据相关性的电网数据质量提升方法

    公开(公告)号:CN116298447A

    公开(公告)日:2023-06-23

    申请号:CN202310087986.X

    申请日:2023-02-07

    Abstract: 本发明涉及接线盒技术领域,具体公开了一种基于数据相关性的电网数据质量提升方法,包括盒体和盒盖;横向卡合组件连接在立架上与三组导电杆一和导电杆二配合;纵向卡合组件连接在立架上与四组导电杆三和导电杆四配合;防脱报警组件部门连接在盒盖上,另一部分连接在纵向卡合组件上;顺序报警组件部分连接在盒体内,其余部分分别连接在横向卡合组件和纵向卡合组件上;本发明在使用时,利用横向卡合组件和纵向卡合组件进行电路的短接和通断,提升了操作速度,利用顺序报警组件能够在未按照操作顺序进行电路通断时,进行报警,利用防脱报警组件,能够在电路长时间使用后电路发生虚接的情况进行重新接通并发出报警,提升安全性。

Patent Agency Ranking