-
公开(公告)号:CN115718782A
公开(公告)日:2023-02-28
申请号:CN202110968710.3
申请日:2021-08-23
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/27 , G06Q10/0639 , G06Q30/018
Abstract: 本发明提供了一种工业数据生态的管理方法,其特征在于,包括如下步骤建立工业数据资产编码标准;按照工业数据资产编码标准自动为工业数据资产分配编码,并存储于区块链,所有的入湖数据都携带唯一的数据资产编码;通过唯一的数据资产编码来全流程记录数据转化为数据服务的过程,并存储于区块链;在集成共享和开放共享数据时,自动携带唯一的数据资产编码对数据资产进行全生命周期追溯,掌控数据资产的数据质量,做到全流程可信;在对接工业互联网时,对信息资源进行集成开放共享。本发明通过管理信息流的流转过程,掌控数据资产的流向,解决了数据冗余和信息孤岛的问题,实现了数据可信、过程可信和结果可信。
-
公开(公告)号:CN116028483A
公开(公告)日:2023-04-28
申请号:CN202111240655.2
申请日:2021-10-25
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/22 , G06F16/2458
Abstract: 本发明提供了一种工业数据标准梳理的方法和系统,包括:步骤S1:将业务系统的元数据批量采集到数据平台;步骤S2:分析所述元数据之前的关系;步骤S3:获取专家指导信息;步骤S4:根据专家指导信息对所述元数据之间的关系进行修正和丰富,分析得到数据项的热度列表,根据按照热度列表的排序依次得到各个数据项匹配的数据标准和业务术语。本发明梳理出工业数据标准,并在工业数据管理中落地工业数据标准,本发明能够帮助业务专家和技术专家快速梳理出工业数据标准,本发明主要解决了从大量业务元数据中梳理出数据标准的问题,能够显著提高工作效率。
-
公开(公告)号:CN119166283A
公开(公告)日:2024-12-20
申请号:CN202411211269.4
申请日:2024-08-30
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种基于云原生的数据服务运行环境隔离系统及实现方法,包括:集群管理模块,用于获取登记的集群信息,并对集群信息进行管理;资源组管理模块,用于获取登记的资源组信息,并对资源组信息进行管理;运行环境管理模块,用于根据需求选择相应的资源组信息及集群信息,基于选择的资源组信息和集群信息,在容器平台为API创建对应的运行环境,并对运行环境进行管理。
-
公开(公告)号:CN118861013A
公开(公告)日:2024-10-29
申请号:CN202410008894.2
申请日:2024-01-03
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/215 , G06F16/21 , G06F16/25
Abstract: 本发明提供了一种基于数据标准的自动数据质量规则生成方法及系统,包括:采集数据表元数据信息;对所述数据表中需要进行数据质量校验的表进行分析处理,并设定数据质量任务及对应的执行方式;根据分析结果以及所述元数据信息,自动生成数据质量规则;执行所述数据质量任务,并记录对应的数据质量校验结果及元数据信息;对所述数据质量校验结果进行分析统计,得到新的数据质量规则阈值的信息,并更新元数据中的对应数据质量设定信息。本发明基于数据平台的工业数据标准,对大量数据制定数据质量规则,以及自动生成与更新数据质量规则,能够使数据质量规则的配置规则化与自动化,并具备更强的时效性,显著提高工作效率。
-
公开(公告)号:CN111026519B
公开(公告)日:2023-11-10
申请号:CN201811179780.5
申请日:2018-10-10
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种基于分布式的任务优先级调度方法和系统,依据先来先服务规则,通过第一公式,确定任务的初始优先级;通过任务的时效性要求,将任务分为即时类任务、非即时类任务两种任务类型;对即时类任务,采用第二公式计算任务优先级,得到第一综合优先级;对非即时类任务,采用第三公式计算任务优先级,得到第二综合优先级;对即时类任务,采用分布式任务资源管理调度框架Yarn进行调度;对非即时类任务,采用分布式任务流调度框架Oozie调度。采用动态优先级算法与分布式任务调度框架结合,减少任务的额定等待时间,提高任务优先级的优先级计算时间,提高任务调度的性能和用户体验感。
-
公开(公告)号:CN115705343A
公开(公告)日:2023-02-17
申请号:CN202110909748.3
申请日:2021-08-09
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/27 , G06F16/2455 , G06F9/50
Abstract: 本发明提供了一种工业互联网平台主从节点的数据同步方法和系统,包括总部节点的数据同步到子节点:步骤1:通过外部页面操作,或者系统录入数据到总部节点的数据库中;步骤2:通过DataReader对象从总部节点的数据库中拉取数据,并在内存中缓存,或者在硬盘中持久化存储;步骤3:将拉取的数据写入到Kafka集群对应的主题Topic中;步骤4:各子节点定时拉取写入主题Topic中的数据并进行处理;步骤5:将处理完的数据写入到各自节点的数据库中,完成总部节点到子节点的数据同步。本发明采用动态线程池管理算法和多分区结合,实现高吞吐量的多线程分区数据顺序传输的效果。
-
公开(公告)号:CN118296481A
公开(公告)日:2024-07-05
申请号:CN202310014831.3
申请日:2023-01-05
Applicant: 上海宝信软件股份有限公司
IPC: G06F18/2413 , G06F18/214
Abstract: 本发明提供了一种工业数据资产标签自动化分类方法和系统,包括:分类模型训练环节、数据分类应用环节。本发明基于概率密度函数,结合长期记忆向量设计了针对连续值特征属性的标签自动化分类架构,并采用混合采样技术解决样本类别分布不平衡的问题,实现工业中普遍存在的非均衡样本下的连续值数据资产的标签自动分类效果。本发明能够广泛应用于工业场景中针对受多个连续值特征影响的数据多标签自动化分类场景。
-
公开(公告)号:CN111026519A
公开(公告)日:2020-04-17
申请号:CN201811179780.5
申请日:2018-10-10
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种基于分布式的任务优先级调度方法和系统,依据先来先服务规则,通过第一公式,确定任务的初始优先级;通过任务的时效性要求,将任务分为即时类任务、非即时类任务两种任务类型;对即时类任务,采用第二公式计算任务优先级,得到第一综合优先级;对非即时类任务,采用第三公式计算任务优先级,得到第二综合优先级;对即时类任务,采用分布式任务资源管理调度框架Yarn进行调度;对非即时类任务,采用分布式任务流调度框架Oozie调度。采用动态优先级算法与分布式任务调度框架结合,减少任务的额定等待时间,提高任务优先级的优先级计算时间,提高任务调度的性能和用户体验感。
-
-
-
-
-
-
-