-
公开(公告)号:CN118051397A
公开(公告)日:2024-05-17
申请号:CN202211426670.0
申请日:2022-11-15
Applicant: 上海宝信软件股份有限公司
IPC: G06F11/30 , H04L41/0631 , G06F21/55
Abstract: 本发明提供了一种数据中台数据流转监控系统及方法,包括:数据处理和获取模块:基于ELK架构实现数据全生命周期流动过程中的日志记录;数据溯源模块:基于记录的数据全生命周期流动过程中的日志通过可视化方式展示数据的执行记录和被调用记录。本发明通过对关键数据的使用、操作、访问日志进行记录,实现平台数据审计与监测的功能,保证数据在流动过程中安全,并以此为基础构建溯源能力,使平台和大数据中心的数据更安全。
-
公开(公告)号:CN116028485A
公开(公告)日:2023-04-28
申请号:CN202111242169.4
申请日:2021-10-25
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种数据动态自适应的分区管理数据仓库构建方法和系统,包括:步骤1:构建数据仓库的存储结构;步骤2:通过Rest网关向存储结构写入数据,并对写入数据进行分层;步骤3:根据热数据层文件个数,将批处理数据归并热数据至温数据层;步骤4:根据温数据层文件个数,对批处理数据温数据层进行内部归并;步骤5:根据温数据层文件大小,将批处理数据进行数据沉淀至冷数据层。本发明在保障了高存储性能的前提下,有效拓宽了分布式存储的适应场景。
-
公开(公告)号:CN112905535A
公开(公告)日:2021-06-04
申请号:CN202010490722.5
申请日:2020-06-02
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/13 , G06F16/14 , G06F16/16 , G06F16/182 , G06F21/62
Abstract: 本发明提供了一种基于HBASE的分布式对象存储系统实现方法,包括:上传步骤:发送上传请求至代理模块;认证步骤:代理模块收到请求后对请求文件进行认证和鉴权,并传递给寻址模块;存储步骤:寻址模块在存储系统中存储请求文件的数据;访问步骤:获取存储的请求文件的信息并生成数据流返回。本发明保障了高存储性能,有效拓宽了分布式存储的适应场景,本发明可以有效规避磁盘空间浪费问题。
-
-