-
公开(公告)号:CN114979189B
公开(公告)日:2024-05-07
申请号:CN202110189292.8
申请日:2021-02-19
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种基于元数据的时空大数据REST微服务数据交互方法,利用时空大数据分布式REST微服务返回的JSON数据包包括操作数据、路由数据、请求数据和响应数据;操作数据包括GETMETA操作数据和GETDATA操作数据,通过路由数据使用GETMETA操作数据发送请求数据获取元数据信息,GETDATA操作数据根据响应数据获取时空大数据;路由数据标识工业互联网系统和时空大数据REST微服务,包括源地址数据和目标地址数据。本发明解决了时空大数据REST微服务的调用端无法智能识别时空大数据REST服务返回数据的语义的技术问题,同时,解决了在工业互联网系统内以及跨工业互联网系统提供统一方法访问时空大数据REST服务的技术问题。
-
公开(公告)号:CN115756814A
公开(公告)日:2023-03-07
申请号:CN202111040145.0
申请日:2021-09-06
Applicant: 上海宝信软件股份有限公司
IPC: G06F9/50
Abstract: 本发明提供了一种工业大数据计算资源隔离、量化的系统,包括资源量化动态整合统计模块、资源隔离动态调节模块、DAG流程图任务运行资源量化模块、任务创建阶段需求资源检测模块、任务执行隔离模块、任务消费被压机制模块、高并发场景资源动态管控模块、资源逻辑调配层与物理层解耦模块以及资源组动态监控功能模块。本发明保障了分布式作业调度和执行系统稳定性可靠性;有效解决了分布式作业调度根据任务执行资源进行合理分配控制,以及集群资源在任务运行过程中监管的业务需求的场景;在今后任何应用xIn3Plat的项目中,都可以应用本发明。
-
公开(公告)号:CN115714807A
公开(公告)日:2023-02-24
申请号:CN202110950757.7
申请日:2021-08-18
Applicant: 上海宝信软件股份有限公司
IPC: H04L67/51 , H04L41/5041 , H04L9/40 , G06F16/27 , G06F9/48
Abstract: 本发明提供了一种工业场景数据中台的设计系统,涉及工业场景下数据中台的技术架构和数据功能技术领域,该方法包括:角色管理模块、基础资源管理模块、数据平台模块、数据开发模块、运维监控模块以及数据管理模块。本发明能够在不同数据大小和类型的场景下可以保持数据存储和访问的效率、数据应用和访问可靠性、易用性,满足各种工业场景下的数据应用需求。
-
公开(公告)号:CN115705343A
公开(公告)日:2023-02-17
申请号:CN202110909748.3
申请日:2021-08-09
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/27 , G06F16/2455 , G06F9/50
Abstract: 本发明提供了一种工业互联网平台主从节点的数据同步方法和系统,包括总部节点的数据同步到子节点:步骤1:通过外部页面操作,或者系统录入数据到总部节点的数据库中;步骤2:通过DataReader对象从总部节点的数据库中拉取数据,并在内存中缓存,或者在硬盘中持久化存储;步骤3:将拉取的数据写入到Kafka集群对应的主题Topic中;步骤4:各子节点定时拉取写入主题Topic中的数据并进行处理;步骤5:将处理完的数据写入到各自节点的数据库中,完成总部节点到子节点的数据同步。本发明采用动态线程池管理算法和多分区结合,实现高吞吐量的多线程分区数据顺序传输的效果。
-
公开(公告)号:CN118861002A
公开(公告)日:2024-10-29
申请号:CN202410011706.1
申请日:2024-01-03
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/21 , G06F16/2455 , G06F16/25
Abstract: 本发明提供了一种融合历史计算的实时规则引擎的构建方法及系统,包括步骤S1:设置管理计算单元的入口,生成配置信息;步骤S2:根据配置信息提供一个基于计算单元配置规则的入口;步骤S3:将业务规则拆分成多个细粒度的计算单元并执行;步骤S4:获取历史数据及实时数据;将历史数据补算后,缓存并生成中间结果;步骤S5:基于实时数据及生成的中间结果完成计算,并再次缓存本次的中间结果。本发明尽可能地避免了在实时规则执行中读取大量的历史数据,使用较少的资源,满足了实时规则需要结合历史数据进行计算的需求;通过使用支持细粒度大规模的高效缓存技术对中间结果进行缓存,解决了大规模高并发规则执行的实时性问题。
-
公开(公告)号:CN118295990A
公开(公告)日:2024-07-05
申请号:CN202310012317.6
申请日:2023-01-05
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/215 , G06F16/2455
Abstract: 本发明提供了一种数据中台自动质量规则校验和修复的方法和系统,包括:进行数据质量规则设置前,先完成对数据质量规则的值域的设置,然后根据值域的配置自动创建数据质量规则,并完成相应数据质量任务的创建;在进行数据质量规则配置时,指定数据质量异常数据的导出,当出现数据质量问题时,将出现问题的异常数据导出到相应的介质中,并根据数据质量规则给出相应的问题修复方案。
-
公开(公告)号:CN118051397A
公开(公告)日:2024-05-17
申请号:CN202211426670.0
申请日:2022-11-15
Applicant: 上海宝信软件股份有限公司
IPC: G06F11/30 , H04L41/0631 , G06F21/55
Abstract: 本发明提供了一种数据中台数据流转监控系统及方法,包括:数据处理和获取模块:基于ELK架构实现数据全生命周期流动过程中的日志记录;数据溯源模块:基于记录的数据全生命周期流动过程中的日志通过可视化方式展示数据的执行记录和被调用记录。本发明通过对关键数据的使用、操作、访问日志进行记录,实现平台数据审计与监测的功能,保证数据在流动过程中安全,并以此为基础构建溯源能力,使平台和大数据中心的数据更安全。
-
公开(公告)号:CN116028483A
公开(公告)日:2023-04-28
申请号:CN202111240655.2
申请日:2021-10-25
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/22 , G06F16/2458
Abstract: 本发明提供了一种工业数据标准梳理的方法和系统,包括:步骤S1:将业务系统的元数据批量采集到数据平台;步骤S2:分析所述元数据之前的关系;步骤S3:获取专家指导信息;步骤S4:根据专家指导信息对所述元数据之间的关系进行修正和丰富,分析得到数据项的热度列表,根据按照热度列表的排序依次得到各个数据项匹配的数据标准和业务术语。本发明梳理出工业数据标准,并在工业数据管理中落地工业数据标准,本发明能够帮助业务专家和技术专家快速梳理出工业数据标准,本发明主要解决了从大量业务元数据中梳理出数据标准的问题,能够显著提高工作效率。
-
公开(公告)号:CN116009428A
公开(公告)日:2023-04-25
申请号:CN202111228109.7
申请日:2021-10-21
Applicant: 上海宝信软件股份有限公司
IPC: G05B19/042 , G06F16/215 , G06F16/23 , G06F16/242 , G06F16/2455
Abstract: 本发明提供了一种基于流式计算引擎的工业数据监控系统,包括状态监控模块采用流式计算引擎原生支持的Prometheus进行实时指标采集和存储,通过meta节点定时抓取所有子节点指标进行汇总,统一数据源提供给Grafana进行可视化并通过dashboard进行告警配置;资源调配模块对实时任务进行分析提供足够的内存给作业,同时对任务消息进行实时处理,结合实时任务内存分析所得相关指标、实时任务并发度的合理性,得出实时任务资源预设值,调整实时任务资源,达到实时任务资源配置;异常状态模块利用SideOutput来收集流式作业各环节中出错的数据,汇总到统一的错误流,通过在流式数据中发现符合设定特征的模式进行实时告警。本发明将复杂事件处理与流式计算引擎结合,能增强告警的实时性和适用范围。
-
公开(公告)号:CN115712483A
公开(公告)日:2023-02-24
申请号:CN202110949379.0
申请日:2021-08-18
Applicant: 上海宝信软件股份有限公司
IPC: G06F9/455 , H04L41/0803
Abstract: 本发明提供了一种工业算法平台化系统和方法,包括:步骤1:创建虚拟环境;步骤2:根据用户需求对虚拟环境构建配置;步骤3:根据虚拟环境构建配置生成虚拟环境镜像;步骤4:根据执行算法请求生成算法运行配置,触发运行环境中异步执行算法程序,生成算法实例并记录对应的运行环境和异步执行句柄;步骤5:根据算法运行配置,使用虚拟环境镜像异步执行算法并返回异步执行句柄,并提供异步执行句柄状态查询;步骤6:进行算法探索、开发和测试,生成算法程序,在运行环境中运行并反馈结果至用户。本发明有效解决了工业数据智能化过程中,各种分析挖掘预测算法运行依赖复杂且相互之间干扰冲突的问题。
-
-
-
-
-
-
-
-
-