公开(公告)号：CN116009428A

公开(公告)日：2023-04-25

申请号：CN202111228109.7

申请日：2021-10-21

Applicant: 上海宝信软件股份有限公司

Inventor： 万英杰 ,  陆必成 ,  梁晨璜 ,  黄明 ,  周明 ,  林锦

IPC: G05B19/042 ,  G06F16/215 ,  G06F16/23 ,  G06F16/242 ,  G06F16/2455

Abstract: 本发明提供了一种基于流式计算引擎的工业数据监控系统，包括状态监控模块采用流式计算引擎原生支持的Prometheus进行实时指标采集和存储，通过meta节点定时抓取所有子节点指标进行汇总，统一数据源提供给Grafana进行可视化并通过dashboard进行告警配置；资源调配模块对实时任务进行分析提供足够的内存给作业，同时对任务消息进行实时处理，结合实时任务内存分析所得相关指标、实时任务并发度的合理性，得出实时任务资源预设值，调整实时任务资源，达到实时任务资源配置；异常状态模块利用SideOutput来收集流式作业各环节中出错的数据，汇总到统一的错误流，通过在流式数据中发现符合设定特征的模式进行实时告警。本发明将复杂事件处理与流式计算引擎结合，能增强告警的实时性和适用范围。

公开(公告)号：CN116010452A

公开(公告)日：2023-04-25

申请号：CN202111226614.8

申请日：2021-10-21

Applicant: 上海宝信软件股份有限公司

Inventor： 陆必成 ,  万英杰 ,  梁晨璜 ,  黄明 ,  周明 ,  林锦

IPC: G06F16/2455 ,  G06F16/215 ,  G06F16/23 ,  G06F16/242 ,  G06F16/28 ,  G06F16/27 ,  G06F16/17 ,  G06F16/172 ,  G06F16/174 ,  G06F16/182

Abstract: 本发明提供了一种基于流式计算引擎的数据处理系统，包括数据采集模块：通过从终端采集获取原始数据后，同步编制发送端与接收端的编解码协议，从无界数据流中匹配对应的表信息完成对信息事件的采集；前置过滤模块：将采集筛选出的信息经由布隆过滤器提供的轻量级数据过滤，同步利用K‑V存储提供的海量数据过滤；数据预处理模块：流式计算引擎提供流批统一流处理，避免离线与实时两套业务开发产生的资源浪费，并且通过提供SQL支持对数据流向进行抽象；数据血缘模块：通过流式计算引擎提供的SQL抽象处理，采用SQL语言编写脚本描述数据的流向，再提交到平台上解析启动作业。本发明实现了对数据价值的挖掘以及对非结构化数据的处理分析。