-
公开(公告)号：CN115563211A
公开(公告)日：2023-01-03
申请号：CN202211162295.3
申请日：2022-09-23
Applicant: 航天信息股份有限公司
IPC: G06F16/27 , G06F16/22 , G06F16/23 , G06F16/2455 , G06F16/2458 , G06F16/18
Abstract: 本发明提供了一种数据同步方法、装置、电子设备和存储介质，该数据同步方法包括：根据至少一个源数据表的操作日志，生成全量数据读取任务和增量数据读取任务，并通过并行的全量数据读取线程和增量数据读取线程，从至少一个源数据表中读取全量数据和增量数据；获取全量数据读取线程和增量数据读取线程读取到的待同步数据。本申请通过并行的全量数据读取线程和增量数据读取线程，能够同时从至少一个源数据表中读取全量数据和增量数据，在新增表的流程中，不用停止对日志流的读取，在进行多个源数据表同步的过程中，不会影响每个源数据表的日志采集进度，提高了数据同步的效率。
-
公开(公告)号：CN114489933A
公开(公告)日：2022-05-13
申请号：CN202111614077.4
申请日：2021-12-27
Applicant: 航天信息股份有限公司
IPC: G06F9/455
Abstract: 本发明公开了一种用于容器镜像数据的管理方法，包括：获取容器镜像数据，提取所述容器镜像数据的可识别的特征值；将容器镜像数据，经哈希处理后，获取所述镜像数据对应的哈希值；根据所述哈希值，建立表征所述哈希值与所述容器镜像数据的对应关系的镜像清单；根据所述特征值，建立表征所述特征值与所述哈希值的对应关系的村料清单；根据所述哈希值，建立所述镜像清单与所述材料清单的对应关系，根据所述镜像清单与所述材料清单管理所述容器镜像数据。为容器镜像中的文件或包提供唯一可识别特征，实现包的依赖性关系管理，确保包在生态系统中可维护并保持更新，提高了容器镜像数据的管理效率。
-
公开(公告)号：CN112596744A
公开(公告)日：2021-04-02
申请号：CN202011544109.3
申请日：2020-12-24
Applicant: 航天信息股份有限公司
Abstract: 本发明公开了一种生成云平台镜像的方法、装置、设备及介质，用以解决现有生成云平台镜像时，耗时长、工作效率低的问题。由于本发明实施例可以根据预先保存的每个故障类别与解决方案的对应关系，确定出现的故障对应的目标解决方案，并根据目标解决方案对镜像参数进行设置，以生成对应的云平台镜像，相比现有需要依赖人工解决生成云平台镜像过程中的故障而言，可以减少耗时，提高工作效率。
-
公开(公告)号：CN114268671B
公开(公告)日：2024-06-11
申请号：CN202111368026.8
申请日：2021-11-18
Applicant: 航天信息股份有限公司
IPC: H04L67/60 , H04L67/1097 , H04L67/10 , H04L41/142
Abstract: 本发明实施例公开了一种基于OpenStack私有云异构资源管理方法及系统，其中方法包括：构建不同物理环境下的异构基础设施层，完成对不同平台设备的适配；将异构基础设施层所提供的私有云异构资源的异构化管理体系分为适配器接口层、资源统一管理层和应用服务层；在适配器接口层，通过调用OpenStack提供的API接口，完成对异构基础设施层所提供的全部私有云异构资源的操作控制；在资源统一管理层采用可扩展架构，对存储资源池支持扩容和缩容，支持主流的分布式存储、集中式存储，统一开展监控、日志、事件、告警和通知的运维，以图形化界面的形式，分区展示资源统计数据和用量统计数据；在应用服务层，面向税务业务提供场景化服务，能够运行多种类型的应用。
-
公开(公告)号：CN111177239B
公开(公告)日：2023-10-10
申请号：CN201911282200.X
申请日：2019-12-13
Applicant: 航天信息股份有限公司
Abstract: 本发明公开了一种基于HDP大数据集群的统一日志处理方法及系统，包括：利用分别部署在待监控服务的至少一个主机上的Log Feeder，实时地采集外部系统的日志文件；对采集的日志文件进行分析，并按照预设的存储规则存储到大数据集群节点的指定目录中；在Ambari中新增自定义服务，按照Ambari的服务管理的接口对外部接口进行设计，实现要对接的外部日志的服务能够作为Ambarid的内部服务；对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则；在LogSearch的Web页面对日志进行管理。本发明实现了将HDP大数据集群外部的日志采集到LogSearch，对日志进行统一管理，成本低，并且各种日志基本都能集成到LogSearch，适用性强。
-
Patent Agency Ranking
公开(公告)号：CN115587105A
公开(公告)日：2023-01-10
申请号：CN202211238277.9
申请日：2022-10-11
Applicant: 航天信息股份有限公司
IPC: G06F16/23 , G06F16/2455 , G06F9/46
Abstract: 本申请实施例提供了一致性数据写入方法、系统、电子设备及存储介质，应用于数据源的连接器或者目的地的连接器，数据源的连接器用于将数据从数据源写入Kafka，目的地的连接器用于将数据从Kafka写入目的地，首先判断连接器是否具备事务能力；若具备事务能力，则通过连接器，将数据写入操作与偏置写入操作作为同一个事务进行提交，以在数据写入操作与偏置写入操作均完成后，确定事务执行成功；若不具备事务能力，则通过连接器，利用二阶段提交协议，确定数据写入操作和偏置写入操作均执行完成后，确定数据写入完成，通过对连接器是否具备事务能力进行判断，并采取不同的应对措施，以保证数据写入前后数据的一致性。
-
公开(公告)号：CN113032388A
公开(公告)日：2021-06-25
申请号：CN201911354357.9
申请日：2019-12-25
Applicant: 航天信息股份有限公司
IPC: G06F16/22 , G06F16/25 , G06F16/2458
Abstract: 本公开提供信息处理方法、相关装置、设备及存储介质。该方法包括：接收数据脱敏系统发送的脱敏任务文件；使用用于处理结构化数据的模块spark sql与源数据信息对应的源数据库建立连接，并从源数据库中进行分布式抽取至少一个脱敏字段中的各脱敏字段对应的数据；创建至少一个脱敏字段中的各脱敏字段对应的spark sql用户自定义函数UDF；根据各脱敏字段对应的脱敏规则信息对各脱敏字段对应的数据进行分布式脱敏处理；将脱敏处理后的脱敏数据根据存储位置信息进行存储。本公开通过spark sql进行分布式并行抽取，并通过UDF进行脱敏处理，实现分布式信息处理计算，解决了现有技术中效率低下、计算速度慢的技术问题。
-
公开(公告)号：CN116166728A
公开(公告)日：2023-05-26
申请号：CN202211662045.6
申请日：2022-12-23
Applicant: 航天信息股份有限公司
IPC: G06F16/25 , G06F16/27 , G06F16/215
Abstract: 本发明公开了一种批流一体实时数据采集系统，包括：数据源模块，用于对接多个不同类型的数据源；批流一体数据采集模块，用于从数据源中采集所需的业务数据，并进行离线批量处理和实时流式处理；数据转换模块，用于将处理后的业务数据转换为所需的数据类型，并传输至目标端数据库；监控模块，用于从批流一体数据采集模块暴露的接口中获取数据采集过程中的信息并生成监控数据，以及对批流一体数据采集模块中的每个数据采集节点进行单步调试；前端模块用于提供批流一体数据采集模块的配置页面，并对监控模块采集的监控数据进行图形化展示。本发明能够实现满足多种数据源的兼容，多种繁杂数据结构之间的转换，并防止在存储过程中数据丢失。
-
公开(公告)号：CN114489690A
公开(公告)日：2022-05-13
申请号：CN202111495359.7
申请日：2021-12-09
Applicant: 航天信息股份有限公司
IPC: G06F8/61 , G06F9/50 , H04L61/5014
Abstract: 本申请实施例提供了一种分布式系统部署方法、装置、电子设备及存储介质，基于获取目标存储设备的CPU基础架构的标识信息，确定目标存储设备的CPU基础架构的类型，只需要根据第一脚本信息中CPU基础架构的检测算法，就能准确判断出目标存储设备的CPU基础架构的类型，采用这种方式，避免了在未知目标存储设备的CPU基础架构的类型情况下，向目标存储设备分发全部类型的CPU基础架构的资源配置文件，减少了资源配置文件的分发操作，从而提高了资源配置文件的分发效率。
-
公开(公告)号：CN114268671A
公开(公告)日：2022-04-01
申请号：CN202111368026.8
申请日：2021-11-18
Applicant: 航天信息股份有限公司
IPC: H04L67/60 , H04L67/1097 , H04L67/10 , H04L41/142
Abstract: 本发明实施例公开了一种基于OpenStack私有云异构资源管理方法及系统，其中方法包括：构建不同物理环境下的异构基础设施层，完成对不同平台设备的适配；将异构基础设施层所提供的私有云异构资源的异构化管理体系分为适配器接口层、资源统一管理层和应用服务层；在适配器接口层，通过调用OpenStack提供的API接口，完成对异构基础设施层所提供的全部私有云异构资源的操作控制；在资源统一管理层采用可扩展架构，对存储资源池支持扩容和缩容，支持主流的分布式存储、集中式存储，统一开展监控、日志、事件、告警和通知的运维，以图形化界面的形式，分区展示资源统计数据和用量统计数据；在应用服务层，面向税务业务提供场景化服务，能够运行多种类型的应用。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.032 seconds)
