大数据管理方法及大数据管理平台

    公开(公告)号:CN116881340A

    公开(公告)日:2023-10-13

    申请号:CN202310658816.2

    申请日:2023-06-05

    Abstract: 本申请公开了一种大数据管理方法及一种大数据管理平台,该方法包括获取多个通信基础数据;依次确定每个所述通信基础数据是否符合预设的数据标准;将不符合所述数据标准的通信基础数据确定为目标基础数据;判断所述目标基础数据是否属于修订数据,若所述目标基础数据属于修订数据,则对所述目标基础数据进行修订,使经过修订的所述目标基础数据符合所述数据标准,如此,确定经过修改后,可以符合数据标准的数据,并对该数据进行修订使其符合数据标准,随后实现存储符合统一数据标准的通信基础数据,进一步提高管理通信基础数据的简易度,从而,提高通信基础数据的完整性以及准确性。

    一种数据治理系统及其方法

    公开(公告)号:CN112699175B

    公开(公告)日:2024-02-13

    申请号:CN202110057150.6

    申请日:2021-01-15

    Abstract: 本申请公开了一种数据治理系统及其方法,包括数据接入模块用于读取多源异构数据,将数据探查以及数据定义后的多源异构数据接入大数据中心,并进行数据对账;数据处理模块用于抽取数据,将抽取的数据转换成需要的格式,纠正或者清除异常数据,并将数据分发至对应的数据仓库中;数据组织模块用于将数据分发后的数据分类存储相应的库中,得到多种类型的元数据;数据治理模块用于对元数据进行目录整合,分级分类,确定元数据的血缘和质量,数据运维以及对元数据进行使用和服务;数据服务单元用于将数据提供给用户。解决了数据质量监测没有统一的数据质量评估标准和管理规范,不能做到全方位的质量监测,对数据质量问题缺乏闭环处理机制的技术问题。

    一种知识挖掘系统及方法

    公开(公告)号:CN112163017B

    公开(公告)日:2024-02-13

    申请号:CN202011032121.6

    申请日:2020-09-27

    Abstract: 本申请公开了一种知识挖掘系统及方法,系统包括:算子仓库用于为资源数据的建模提供算子工具,通过算子工具实现不同的逻辑功能,算子工具包括公共算子和自定义算子;建模平台用于根据算子工具和资源数据进行数据分析模型的构建,并将得到的数据分析模型封装成特定协议;云擎服务模块用于解析各种不同的特定协议,根据解析得到的特定协议内容调用底层大数据组件功能接口,并执行预置数据处理任务,得到目标数据,目标数据为屏蔽访问差异后的同构数据。本申请能够解决现有技术针对海量数据的联合分析缺乏有效的统一处理手段,导致跨领域数据的知识挖掘费时费力且效率低下的技术问题。

    一种知识挖掘系统及方法

    公开(公告)号:CN112163017A

    公开(公告)日:2021-01-01

    申请号:CN202011032121.6

    申请日:2020-09-27

    Abstract: 本申请公开了一种知识挖掘系统及方法,系统包括:算子仓库用于为资源数据的建模提供算子工具,通过算子工具实现不同的逻辑功能,算子工具包括公共算子和自定义算子;建模平台用于根据算子工具和资源数据进行数据分析模型的构建,并将得到的数据分析模型封装成特定协议;云擎服务模块用于解析各种不同的特定协议,根据解析得到的特定协议内容调用底层大数据组件功能接口,并执行预置数据处理任务,得到目标数据,目标数据为屏蔽访问差异后的同构数据。本申请能够解决现有技术针对海量数据的联合分析缺乏有效的统一处理手段,导致跨领域数据的知识挖掘费时费力且效率低下的技术问题。

    一种数据治理系统及其方法

    公开(公告)号:CN112699175A

    公开(公告)日:2021-04-23

    申请号:CN202110057150.6

    申请日:2021-01-15

    Abstract: 本申请公开了一种数据治理系统及其方法,包括数据接入模块用于读取多源异构数据,将数据探查以及数据定义后的多源异构数据接入大数据中心,并进行数据对账;数据处理模块用于抽取数据,将抽取的数据转换成需要的格式,纠正或者清除异常数据,并将数据分发至对应的数据仓库中;数据组织模块用于将数据分发后的数据分类存储相应的库中,得到多种类型的元数据;数据治理模块用于对元数据进行目录整合,分级分类,确定元数据的血缘和质量,数据运维以及对元数据进行使用和服务;数据服务单元用于将数据提供给用户。解决了数据质量监测没有统一的数据质量评估标准和管理规范,不能做到全方位的质量监测,对数据质量问题缺乏闭环处理机制的技术问题。

    一种容器云服务实例收缩的控制系统和方法

    公开(公告)号:CN112068934B

    公开(公告)日:2023-02-10

    申请号:CN202010934789.3

    申请日:2020-09-08

    Abstract: 本申请公开了一种容器云服务实例收缩的控制系统和方法,弹性伸缩控制器根据预置服务收缩策略,通过资源指标和服务指标判断服务实例是否需要收缩,在其需要收缩时发送实例调整指令至服务实例控制器,资源指标为第一预置时间段的内存的使用率,服务指标为第二预置时间段的实例服务平均响应时长;服务实例控制器在选择待删除实例后,阻止其接收任务,并查询待删除实例的任务状态,当其不存在未完成的任务时,删除待删除实例,解决了现有的容器收缩机制以一段时间内的平均资源使用量作为容器数量收缩的评判依据,存在只以计算资源作为评判标准,收缩的时机判断不精确,以及没有考虑到待收缩的容器上有未跑完的任务,影响业务数据的准确性的技术问题。

    资源质量监控的智能化预警方法、系统、设备和存储介质

    公开(公告)号:CN114726751A

    公开(公告)日:2022-07-08

    申请号:CN202210360389.5

    申请日:2022-04-07

    Abstract: 本申请提供了一种用于资源质量监控的智能化预警方法、系统、设备及存储介质,收集原始运维指标数据,将原始运维指标数据作为学习目标输入到长短期记忆网络LSTM中;基于长短期记忆网络LSTM对原始运维指标数据的深层数据信息进行回归学习,训练权重和偏置确定的预测模型;利用预测模型进行资源质量监控,根据收集的当前时间段的时间序列指标数据预测下一时间段的数据指标,并为数据指标设定动态阈值;根据动态阈值筛选下一时间段的有效告警信息,根据有效告警信息进行智能化预警。本发明使用的LSTM网络具有能够最大程度发挥历史信息的价值,预测未来更为准确的数据值,能够有效的为运维人员降低时间成本,维护服务稳定运行。

    一种容器云服务实例收缩的控制系统和方法

    公开(公告)号:CN112068934A

    公开(公告)日:2020-12-11

    申请号:CN202010934789.3

    申请日:2020-09-08

    Abstract: 本申请公开了一种容器云服务实例收缩的控制系统和方法,弹性伸缩控制器根据预置服务收缩策略,通过资源指标和服务指标判断服务实例是否需要收缩,在其需要收缩时发送实例调整指令至服务实例控制器,资源指标为第一预置时间段的内存的使用率,服务指标为第二预置时间段的实例服务平均响应时长;服务实例控制器在选择待删除实例后,阻止其接收任务,并查询待删除实例的任务状态,当其不存在未完成的任务时,删除待删除实例,解决了现有的容器收缩机制以一段时间内的平均资源使用量作为容器数量收缩的评判依据,存在只以计算资源作为评判标准,收缩的时机判断不精确,以及没有考虑到待收缩的容器上有未跑完的任务,影响业务数据的准确性的技术问题。

Patent Agency Ranking