一种数据修复的方法、装置及电子设备

    公开(公告)号:CN115630054A

    公开(公告)日:2023-01-20

    申请号:CN202211217059.7

    申请日:2022-09-30

    Abstract: 本申请涉及数据处理领域,具体涉及一种数据修复的方法、装置及电子设备,用于解决现有数据修复依赖人工处理导致修复效率低、或采用全数过滤导致修复不准确的问题。该方法包括获取N个候选数据集合;基于每个候选数据集合各自对应的预设质检规则,对N个候选数据集合中的待质检数据进行质检,得到质检结果;确定质检结果中问题数据的质检问题类型,并从修复组件集合中,选取分别与质检问题类型对应的M个目标修复组件;响应于触发修复问题数据的修复事件,并通过用于调度M个目标修复组件的目标修复任务,对问题数据进行修复。基于上述方法实现数据修复流程的自动化处理,最大程度保证数据的真实性、可用性,进而提升数据质量。

    数据同步方法、装置、电子设备和存储介质

    公开(公告)号:CN115470298A

    公开(公告)日:2022-12-13

    申请号:CN202211161928.9

    申请日:2022-09-23

    Abstract: 本发明提供了一种数据同步方法、装置、电子设备和存储介质,该数据同步方法包括:根据中间表中每条数据的主键值和状态标识符中的至少一个,从第一数据库表中确定至少一条待同步数据;将至少一条待同步数据的目标字段同步至中间表,并在中间表中将每条待同步数据的状态标识符均设置为第一状态值;根据中间表中每条数据的状态标识符,将中间表中对应状态标识符为第一状态值的数据同步至第二数据库表中。本申请通过数据的主键值和状态标识符对数据进行同步的方式,可以在数据库之间完成数据的自动同步,在数据库之间产生数据新增、修改等操作后,可以将相应数据同步到其余系统中,降低了工作人员的维护难度。

    一种版本管理方法、装置及电子设备

    公开(公告)号:CN114385221A

    公开(公告)日:2022-04-22

    申请号:CN202111620901.7

    申请日:2021-12-28

    Abstract: 本申请公开了一种版本管理方法、装置及电子设备,该方法包括:在接收到变更请求时,对第一数据标准执行变更请求,在第一数据标准变更完成后,得到第二数据标准,并记录第二数据标准对应的变更信息,然后根据变更信息,将第一数据标准与第二数据标准之间的变化过程转换为可视化的数据标准版本管理图。通过上述方法,既可以展示当前版本的数据标准与低于当前版本的数据标准之间的变更过程,进而支持对当前本版对应数据标准进行溯源,也可以展示当前版本的数据标准与高于当前版本的数据标准之间的变更过程,进而支持后续分析当前变更信息对各个版本的数据标准对应的元数据造成的影响。

    一种元数据采集的性能测试方法、装置、设备和介质

    公开(公告)号:CN114168440A

    公开(公告)日:2022-03-11

    申请号:CN202111336346.5

    申请日:2021-11-12

    Abstract: 本发明公开了一种元数据采集的性能测试方法、装置、设备和介质,由于该方法中根据接收到的性能测试指令中包含的目标元数据数量,随机生成所述目标元数据数量的元数据;创建待采集所述元数据的采集配置信息并发送给元数据采集设备,使所述元数据采集设备根据所述采集配置信息采集目标元数据,接收所述元数据采集设备发送的采集所述目标元数据时的性能指标。由于本发明实施例中可以自动随机生成目标元数据数量的元数据,创建元数据的采集配置信息发送给元数据采集设备,并接收元数据采集设备发送的性能指标,不需要人工参与元数据采集的性能测试过程,从而提高了进行元数据采集的性能测试的自动化程度。

    一种基于模型指标的数据质检方法系统和方法

    公开(公告)号:CN120030044A

    公开(公告)日:2025-05-23

    申请号:CN202411915879.2

    申请日:2024-12-24

    Abstract: 本发明提供一种基于模型指标的数据质检系统和方法,包括:质检建模模块、SQL生成模块、调度管理模块、质检执行模块和质检看板模块;质检建模模块,用于建立实体表逻辑模型、质检指标、指标赋值和数据集;SQL生成模块,用于根据质检建模模块的质检指标、指标赋值和数据集,生成查询SQL语句;调度管理模块,用于根据所述查询SQL语句生成质检调度任务;质检执行模块,用于通过执行所述质检调度任务,对待检测的数据库中的数据进行质检,并统计记录数据质检信息;质检看板模块,用于可视化质检统计信息。提高了多表质检、复杂逻辑质检的准确率和效率。

    数据库管理方法、装置、电子设备及计算机存储介质

    公开(公告)号:CN117472928A

    公开(公告)日:2024-01-30

    申请号:CN202311481796.2

    申请日:2023-11-08

    Abstract: 本申请实施例提供了一种数据库管理方法、装置、电子设备及计算机存储介质,其中,数据库管理方法用于目标信息系统,目标信息系统包括主数据库和多个目标数据库,主数据库的数据库类型与目标数据库的数据库类型不同,本申请通过获取主数据库的第一数据库类型和目标版本号对应的第一更新元数据,以及待更新的目标数据库的第二数据库类型;根据第一数据库类型和第二数据库类型,通过预设的元数据映射模型将第一更新元数据转换为与第二数据库类型对应的第二更新元数据;将第二更新元数据更新至待更新的目标数据库,以完成对目标数据库的版本更新。降低了不同类型数据库版本更新的工作量,提升了更新效率。

    一种基于接口的多存储平台的统一管理系统和方法

    公开(公告)号:CN117235204A

    公开(公告)日:2023-12-15

    申请号:CN202311315104.7

    申请日:2023-10-11

    Abstract: 本发明公开了一种基于接口的多存储平台的统一管理系统和方法,包括:信息接收器、非结构数据管理中心;信息接收模块,用于通过RESTFUL接口接收非结构数据的存储请求,并将所述请求发送至非结构数据管理中心;非结构数据管理中心,用于解析所述存储请求,获取所述非结构数据的存储操作命令;将所述存储操作命令进行格式化处理,获取对应的目标云存储平台的可执行命令;将所述可执行命令分发至对应的目标云存储平台的SDK中。解决多存储平台非结构数据配置困难、工作繁重问题。

    容器镜像创建方法和装置、存储介质和电子设备

    公开(公告)号:CN112486523A

    公开(公告)日:2021-03-12

    申请号:CN202011511280.4

    申请日:2020-12-18

    Abstract: 本公开涉及一种容器镜像创建方法和装置、存储介质和电子设备,其中,所述方法包括:响应于容器镜像的创建指令,获取所述创建指令对应的源镜像;从镜像仓库中提取与所述创建指令对应的中间镜像层;确定所述创建指令中的创建步骤;在本地fork/exec模式下,通过用户命名空间,基于所述创建步骤,将与所述创建步骤对应的中间镜像层和所述源镜像结合,生成容器镜像。本公开可以提升容器镜像生成的效率。

Patent Agency Ranking