公开(公告)号：CN119884776A

公开(公告)日：2025-04-25

申请号：CN202411918355.9

申请日：2024-12-24

Applicant: 航天信息股份有限公司

Inventor： 徐书豪 ,  王煜 ,  何腾翔 ,  王杰斌 ,  许旭 ,  王芳

IPC: G06F18/22 ,  G06F18/2431 ,  G06F18/243 ,  G06F21/60 ,  G06F21/62

Abstract: 本公开涉及一种数据资产处理方法、装置、设备及介质。该数据资产处理方法包括：接收用户选定目标数据作为原始数据资产的指令；对目标数据进行规则匹配，根据与目标数据相匹配的规则确定目标数据的应用类别和敏感等级，得到分类分级后的目标数据；根据敏感等级选择性地对分类分级后的目标数据进行脱敏处理，生成流通数据资产。本公开通过对原始数据资产进行统一地分类分级，并根据原始数据资产的敏感等级选择性地对其进行脱敏处理，实现了数据的应用分类与安全处理，让数据在应用前得到有效的资产梳理与风险防范，可以安全高效的将原始数据资产转化为用于流通的数据资产。

公开(公告)号：CN117972769A

公开(公告)日：2024-05-03

申请号：CN202311795231.1

申请日：2023-12-25

Applicant: 航天信息股份有限公司

Inventor： 王煜 ,  何腾翔 ,  白雪珂 ,  李瑞祥

IPC: G06F21/62 ,  G06F18/241 ,  G06F21/60 ,  G06F18/214

Abstract: 本发明公开了一种基于主动元数据的数据资产处理方法及系统，包括：基于数据湖和数据仓一体化架构对数据进行存储和纳管；基于Data ops模式对入湖的数据自动进行数据质量检测和数据质量整改，并为元数据添加标签；基于所述标签确定数据资产，对数据资产进行分类分级，并基于数据资产的分类分级结果进行数据资产编目；基于所述数据资产编目将数据资产在安全机制的保障下形成数据服务安全窗口，以基于所述数据服务安全窗口对外提供访问。本发明基于主动元数据技术，运用湖仓一体化的数据存储纳管、DataOps技术开展数据预处理，实现便捷化、高性能的数据资产管理治理；运用主动元数据技术将纳管的元数据自动标签化，减少在机器学习反复训练过程中的投入。

公开(公告)号：CN117389951A

公开(公告)日：2024-01-12

申请号：CN202311412005.0

申请日：2023-10-27

Applicant: 航天信息股份有限公司

Inventor： 杨硕 ,  王煜 ,  张利 ,  贾川 ,  王芳 ,  苏晶晶

IPC: G06F16/13 ,  G06F16/16 ,  G06F18/2413

Abstract: 本申请提供了一种数据编目构建方法、装置、电子设备和存储介质，所述方法包括：获取数据资产目录，所述数据资产目录包括第一数据的第一数据资产目录。将所述第一数据和所述第一数据资产目录作为训练数据，训练多分类模型，其中，所述多分类模型用于构建输入数据的资产目录。将第二数据输入所述多分类模型，获得所述多分类模型输出的所述第二数据的推荐数据资产目录。接收基于所述推荐数据资产目录生成的第二数据资产目录。通过所述第二数据资产目录对所述数据资产目录进行更新。本方案可以提升数据编目构建时的工作效率。

公开(公告)号：CN117271665A

公开(公告)日：2023-12-22

申请号：CN202311280307.7

申请日：2023-09-28

Applicant: 航天信息股份有限公司

Inventor： 张利 ,  贾川 ,  杨硕 ,  王煜

IPC: G06F16/27 ,  G06F16/22 ,  G06F16/23 ,  G06F16/2458

Abstract: 本申请提供了一种数据资产处理方法、装置及相关设备，通过构建基于MPP架构的列式存储数据库ClickHouse集群，对业务系统提交的数据资产进行分类存储和汇聚，创建对应所述列式存储数据库ClickHouse的ClickHouse分布式表，以对所述列式存储数据库ClickHouse集群的服务器节点上的物理表进行代理；结合所述ClickHouse分布式表，将所述列式存储数据库ClickHouse集群中由列式存储数据库ClickHouse原生提供的状态更改操作转化为对ClickHouse物理表的插入操作；基于转化后的列式存储数据库ClickHouse的分布式表引擎对所述数据资产进行实时分析和查询。克服了ClickHouse不支持更新数据的实时数据分析、原生ClickHouse直接使用Mutation操作性能弱问题,使Clickhouse具备高性能实时分析查询能力。

公开(公告)号：CN111177239B

公开(公告)日：2023-10-10

申请号：CN201911282200.X

申请日：2019-12-13

Applicant: 航天信息股份有限公司

Inventor： 王杰斌 ,  张皓 ,  王煜 ,  任俊龙

IPC: G06F16/25 ,  G06F16/28

Abstract: 本发明公开了一种基于HDP大数据集群的统一日志处理方法及系统，包括：利用分别部署在待监控服务的至少一个主机上的Log Feeder，实时地采集外部系统的日志文件；对采集的日志文件进行分析，并按照预设的存储规则存储到大数据集群节点的指定目录中；在Ambari中新增自定义服务，按照Ambari的服务管理的接口对外部接口进行设计，实现要对接的外部日志的服务能够作为Ambarid的内部服务；对LogSearch接口进行关联配置，以关联所述新增的自定义服务、所采集的日志文件的路径和日志文件的过滤转换规则；在LogSearch的Web页面对日志进行管理。本发明实现了将HDP大数据集群外部的日志采集到LogSearch，对日志进行统一管理，成本低，并且各种日志基本都能集成到LogSearch，适用性强。

公开(公告)号：CN115757358A

公开(公告)日：2023-03-07

申请号：CN202211526916.1

申请日：2022-11-30

Applicant: 航天信息股份有限公司 ,  河北航天信息技术有限公司

Inventor： 王煜 ,  王杰斌 ,  何腾翔 ,  白雪珂 ,  林文辉 ,  周江涛 ,  伺彦伟

IPC: G06F16/21 ,  G06F16/22 ,  G06F16/248

Abstract: 本发明公开了一种基于数据集成的多源主数据建模维护分发方法及系统。该方法包括：将多源数据的数据源进行配置，获取主数据，所述数据源包括文件数据源、接口数据源以及数据库数据源；基于所述主数据的模型信息，创建主数据模型，并发布主数据模型；对所述主数据模型进行数据管理，包括查看数据、新增数据、修改和删除数据、查找重复数据以及展示主数据接口信息；根据外部业务系统的不同需求，将主数据在保证其唯一性的前提下加工成外部业务系统直接可使用的主数据，并通过数据集成的实时触发运行。

公开(公告)号：CN115587015A

公开(公告)日：2023-01-10

申请号：CN202211228567.5

申请日：2022-10-08

Applicant: 航天信息股份有限公司

Inventor： 杨硕 ,  林文辉 ,  王煜 ,  贾川 ,  肖冰 ,  王斌斌 ,  李瑞祥

IPC: G06F11/34 ,  G06F16/25 ,  G06F8/34 ,  G06F8/71

Abstract: 本申请提供一种数据处理方法、装置、电子设备及存储介质，包括：接收用户通过用户管理界面输入的接口配置信息；基于所述接口配置信息进行配置，建立数据服务接口；通过所述数据服务接口与外部的数据源进行数据访问，并生成用于记录至少部分数据访问过程的访问日志。该方案能提供生成日志的功能。

公开(公告)号：CN114253914A

公开(公告)日：2022-03-29

申请号：CN202111570901.0

申请日：2021-12-21

Applicant: 航天信息股份有限公司 ,  安徽航天信息科技有限公司

Inventor： 王杰斌 ,  林文辉 ,  解军伟 ,  司左 ,  王煜 ,  何腾祥 ,  张研

IPC: G06F16/17 ,  G06F16/11 ,  G06F16/18 ,  G06F16/182 ,  G06F21/60 ,  G06F21/62

Abstract: 本申请涉及数据处理技术领域，特别涉及一种分布式数据采集系统及方法。所述系统包括增量日志采集模块，增量日志处理模块，全量日志采集模块和分布式日志系统，其中，增量日志采集模块，用于基于不同数据源支持的日志采集方式，分别采用不同日志采集工具从各数据源的备用库中采集增量日志；增量日志处理模块，用于对采集到的不同数据源的增量日志进行数据格式转换处理，并将转换为指定数据格式的日志基于预设数据结构存储至分布式日志系统中；全量日志采集模块，用于在接收到全量日志采集指令时，基于不同数据源支持的日志采集方式，分别采用不同日志采集工具从各数据源的备用库中采集全量日志，并将采集到的全量日志存储至分布式日志系统中。

公开(公告)号：CN113032388A

公开(公告)日：2021-06-25

申请号：CN201911354357.9

申请日：2019-12-25

Applicant: 航天信息股份有限公司

Inventor： 王杰斌 ,  张皓 ,  王煜 ,  任俊龙 ,  王泽浩

IPC: G06F16/22 ,  G06F16/25 ,  G06F16/2458

Abstract: 本公开提供信息处理方法、相关装置、设备及存储介质。该方法包括：接收数据脱敏系统发送的脱敏任务文件；使用用于处理结构化数据的模块spark sql与源数据信息对应的源数据库建立连接，并从源数据库中进行分布式抽取至少一个脱敏字段中的各脱敏字段对应的数据；创建至少一个脱敏字段中的各脱敏字段对应的spark sql用户自定义函数UDF；根据各脱敏字段对应的脱敏规则信息对各脱敏字段对应的数据进行分布式脱敏处理；将脱敏处理后的脱敏数据根据存储位置信息进行存储。本公开通过spark sql进行分布式并行抽取，并通过UDF进行脱敏处理，实现分布式信息处理计算，解决了现有技术中效率低下、计算速度慢的技术问题。

公开(公告)号：CN111198695A

公开(公告)日：2020-05-26

申请号：CN201911357812.0

申请日：2019-12-25

Applicant: 航天信息股份有限公司

Inventor： 王煜 ,  张浩 ,  赖新明

IPC: G06F8/61

Abstract: 本申请公开了微服务治理管理平台的自动化部署方法和电子设备。该方法包括：自动检查操作系统版本；自动检查服务器配置；自动设置系统参数；自动搭建本地源；自动安装依赖软件；自动启动微服务治理组件；自动初始化微服务治理组件；自动初始化微服务治理管理平台。根据本申请，当部署操作被触发时，可在单个节点上自动进行高效的微服务治理管理平台部署方法，大大简化了配置步骤，减少了人力，减少了配置时间和安装部署时间。