-
公开(公告)号：CN116010452A
公开(公告)日：2023-04-25
申请号：CN202111226614.8
申请日：2021-10-21
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/2455 , G06F16/215 , G06F16/23 , G06F16/242 , G06F16/28 , G06F16/27 , G06F16/17 , G06F16/172 , G06F16/174 , G06F16/182
Abstract: 本发明提供了一种基于流式计算引擎的数据处理系统，包括数据采集模块：通过从终端采集获取原始数据后，同步编制发送端与接收端的编解码协议，从无界数据流中匹配对应的表信息完成对信息事件的采集；前置过滤模块：将采集筛选出的信息经由布隆过滤器提供的轻量级数据过滤，同步利用K‑V存储提供的海量数据过滤；数据预处理模块：流式计算引擎提供流批统一流处理，避免离线与实时两套业务开发产生的资源浪费，并且通过提供SQL支持对数据流向进行抽象；数据血缘模块：通过流式计算引擎提供的SQL抽象处理，采用SQL语言编写脚本描述数据的流向，再提交到平台上解析启动作业。本发明实现了对数据价值的挖掘以及对非结构化数据的处理分析。
-
公开(公告)号：CN107229639B
公开(公告)日：2020-07-28
申请号：CN201610174008.9
申请日：2016-03-24
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/27 , G06F16/182
Abstract: 本发明提供了一种分布式实时数据库的存储系统，包括：分布式数据网关模块：用于数据的接收与查询代理；分布式消息队列模块：用于通过分布式消息队列实现数据的发布与订阅；分布式实时流计算服务模块：用于基于storm实时流计算框架，实现消息订阅服务、内存快照存储服务以及持久化存储服务；分布式缓存服务模块：用于通过分布式缓存存储数据快照；分布式存储服务模块：通过Nosql数据库HBase进行分布式存储服务，通过分布式搜索引擎Solr实现数据的检索。本发明有效地提升企业的智能化和信息化水平，并利用大数据技术挖掘潜在的数据价值，为企业的转型发展提供坚实的数据基础。
-
公开(公告)号：CN115705343A
公开(公告)日：2023-02-17
申请号：CN202110909748.3
申请日：2021-08-09
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/27 , G06F16/2455 , G06F9/50
Abstract: 本发明提供了一种工业互联网平台主从节点的数据同步方法和系统，包括总部节点的数据同步到子节点：步骤1：通过外部页面操作，或者系统录入数据到总部节点的数据库中；步骤2：通过DataReader对象从总部节点的数据库中拉取数据，并在内存中缓存，或者在硬盘中持久化存储；步骤3：将拉取的数据写入到Kafka集群对应的主题Topic中；步骤4：各子节点定时拉取写入主题Topic中的数据并进行处理；步骤5：将处理完的数据写入到各自节点的数据库中，完成总部节点到子节点的数据同步。本发明采用动态线程池管理算法和多分区结合，实现高吞吐量的多线程分区数据顺序传输的效果。
-
公开(公告)号：CN102455976A
公开(公告)日：2012-05-16
申请号：CN201010527977.0
申请日：2010-11-02
Applicant: 上海宝信软件股份有限公司
IPC: G06F12/06
Abstract: 本发明涉及一种系统开发工作中的内存管理方法。一种中间件内存管理的方法，包括以下步骤：中间件应用系统启动，根据配获取一块内存区域，并初始化所述内存区域，即所述内存区域设为结构化区和扩展区，结构化区分为多个固定容量大小的存储单元，设有结构化区总体头部信息，扩展区设有扩展区总体头部信息，扩展区总体头部信息中包括空闲单元链表和已用单元链表；当有模块申请内存时，根据申请的要求进行内存分配；分配给内存区域中具体的存储单元，该存储单元使用完毕后，进行内存释放；当应用系统停止时，清除所述内存区域的内容。本发明实现了内存高效稳定的并发访问，为应用系统开发时存在的内存管理的问题提供了一种通用的解决办法。
-
公开(公告)号：CN118860269A
公开(公告)日：2024-10-29
申请号：CN202410102498.6
申请日：2024-01-24
Applicant: 上海宝信软件股份有限公司
IPC: G06F3/06 , G06F9/455 , G06F9/50 , G06F16/22 , G06F16/182
Abstract: 本发明提供了一种租户级别资源隔离的数据写入通道管理方法和系统，包括：步骤1：部署负载均衡集群；步骤2：进行多租户隔离；步骤3：数据通过Rest网关写入后，被送到数据缓存层，然后通过Spark Streaming程序消费并写入HDFS，将数据缓存层和Spark Streaming程序的组合作为数据写入通道；步骤4：设置消费组和消费实例，从而改变数据消费速度；步骤5：部署文件合并服务，负责监控文件数量和大小，当文件个数或大小达到预设阈值，则自动触发小文件合并。本发明可以按需配置计算资源，提高了数据吞吐量和写入的效率，支持租户级别的资源隔离配置。
-
Patent Agency Ranking
公开(公告)号：CN116028485A
公开(公告)日：2023-04-28
申请号：CN202111242169.4
申请日：2021-10-25
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种数据动态自适应的分区管理数据仓库构建方法和系统，包括：步骤1：构建数据仓库的存储结构；步骤2：通过Rest网关向存储结构写入数据，并对写入数据进行分层；步骤3：根据热数据层文件个数，将批处理数据归并热数据至温数据层；步骤4：根据温数据层文件个数，对批处理数据温数据层进行内部归并；步骤5：根据温数据层文件大小，将批处理数据进行数据沉淀至冷数据层。本发明在保障了高存储性能的前提下，有效拓宽了分布式存储的适应场景。
-
公开(公告)号：CN119988442A
公开(公告)日：2025-05-13
申请号：CN202411891688.7
申请日：2024-12-20
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/2455 , G06F16/242 , G06F9/50
Abstract: 本发明提供了一种多源异构数据联邦查询系统、保障及访问方法，其中系统包括：多个项目、计算组管理模块、数据源管理模块、项目管理模块和查询管理模块；每个项目包含计算组和数据源；各个项目之间的计算组和数据源相互隔离且互不影响；项目管理模块用于多用户隔离和访问控制；计算组管理模块用于构建、动态调整计算组以及保障不同计算组资源相互隔离；数据源管理模块用于提供数据源的增、删、改、查和分配管理，支持向导式创建数据源连接；查询管理模块提供跨数据源的查询编辑控制台。而本发明提出的多计算组模式，每个计算组包含主备两个协调节点，在资源管理方面更具灵活性，且查询任务被多个计算组分摊，有效避免了单个协调节点成为性能瓶颈。
-
公开(公告)号：CN107229639A
公开(公告)日：2017-10-03
申请号：CN201610174008.9
申请日：2016-03-24
Applicant: 上海宝信软件股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种分布式实时数据库的存储系统，包括：分布式数据网关模块：用于数据的接收与查询代理；分布式消息队列模块：用于通过分布式消息队列实现数据的发布与订阅；分布式实时流计算服务模块：用于基于storm实时流计算框架，实现消息订阅服务、内存快照存储服务以及持久化存储服务；分布式缓存服务模块：用于通过分布式缓存存储数据快照；分布式存储服务模块：通过Nosql数据库HBase进行分布式存储服务，通过分布式搜索引擎Solr实现数据的检索。本发明有效地提升企业的智能化和信息化水平，并利用大数据技术挖掘潜在的数据价值，为企业的转型发展提供坚实的数据基础。
-
公开(公告)号：CN116009428A
公开(公告)日：2023-04-25
申请号：CN202111228109.7
申请日：2021-10-21
Applicant: 上海宝信软件股份有限公司
IPC: G05B19/042 , G06F16/215 , G06F16/23 , G06F16/242 , G06F16/2455
Abstract: 本发明提供了一种基于流式计算引擎的工业数据监控系统，包括状态监控模块采用流式计算引擎原生支持的Prometheus进行实时指标采集和存储，通过meta节点定时抓取所有子节点指标进行汇总，统一数据源提供给Grafana进行可视化并通过dashboard进行告警配置；资源调配模块对实时任务进行分析提供足够的内存给作业，同时对任务消息进行实时处理，结合实时任务内存分析所得相关指标、实时任务并发度的合理性，得出实时任务资源预设值，调整实时任务资源，达到实时任务资源配置；异常状态模块利用SideOutput来收集流式作业各环节中出错的数据，汇总到统一的错误流，通过在流式数据中发现符合设定特征的模式进行实时告警。本发明将复杂事件处理与流式计算引擎结合，能增强告警的实时性和适用范围。
-
公开(公告)号：CN110019085A
公开(公告)日：2019-07-16
申请号：CN201711046071.5
申请日：2017-10-31
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/182 , G06F16/22 , G06F16/27 , G06F16/25
Abstract: 本发明提供了一种基于HBase的分布式时序数据库，存储结构为三元组：TagID，Timestamp，TagVTQ；分布式时序数据库中的分布式文件数据库HBase的行键由TagID和BaseTime组成，BaseTime＝Timestamp/TimeSpan，TimeSpan为分布式时序数据库的行时间跨度，HBase的列族中每个HBase单元格保存至少一个TagVTQ。本发明可有效的解决传统的实时数据库在应对工业大数据在可靠性、扩展性、检索和其上的计算支撑能力的不足，有效地提升企业的智能化和信息化水平。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.026 seconds)
