一种基于presto引擎的敏感数据识别及脱敏方法

    公开(公告)号:CN114722064A

    公开(公告)日:2022-07-08

    申请号:CN202210175023.0

    申请日:2022-02-23

    Abstract: 本发明属于大数据技术领域,且公开了一种基于presto引擎的敏感数据识别及脱敏方法包括数据输入单元、数据识别单元、数据脱敏单元和数据输出单元;所述数据输入单元,用于用户数据的输入并触发敏感数据识别单元;所述数据识别单元。该发明通过其简单的数据结构,列式存储逻辑行,大部分数据都可以轻易的转化成presto所需要的这种数据结构,且利用presto引擎进行数据脱敏,解决presto引擎上无法支持灵活高效数据脱敏功能的问题,可以通过自定义脱敏规则,平台全流程化、引擎解耦,主数据规则引擎生成、数据标准规范引擎、数据质量规则引擎可基于需求场景进行能力扩展和升级,能较好的集成不同的用户管理平台,元数据管理平台。

    一种基于NLP、KG技术的电网数据智能化管理方法

    公开(公告)号:CN114626805A

    公开(公告)日:2022-06-14

    申请号:CN202210175025.X

    申请日:2022-02-23

    Abstract: 本发明涉及电网数据管理技术领域,且公开了一种基于NLP、KG技术的电网数据智能化管理方法,包括以下步骤,主数据目录和数据标准生成,先基于《南网电网企业公共信息模型》、《业务对象清单》《数据质量标准清单》通过NLP和KG技术生成业务元数据。该基于NLP、KG技术的电网数据智能化管理方法,通过主数据目录生成,数据标准生成,质量规则引擎生成及质量自动化探查,数据关系及影响链分析,数据问题自动修复等,实现数据资产的自动化构建和数据质量的保障,一方面,降低数据治理和资产构建过程中的数据资产目录梳理与数据标准规范梳理的人力投入,更加省时省力,另外一方面,更全面的保障数据质量,为数据价值发挥和应用提供基础。

    基于混合引擎的大数据处理系统与方法

    公开(公告)号:CN114625764A

    公开(公告)日:2022-06-14

    申请号:CN202210175021.1

    申请日:2022-02-23

    Abstract: 本发明属于计算机技术与信息安全技术领域,且公开了基于混合引擎的大数据处理系统与方法,包括如下步骤:S1、脱敏规则生成,包括系统规则和用户规则;a、脱敏规则主要包括以下信息,脱敏模板名称和类型、脱敏字段的字段类型(只有符合字段类型要求的字段才能应用该脱敏规则,字段类型列表)。本发明通过presto实现动态脱敏功能,支持脱敏规则模板的管理,支持预定义和自定义方式,通过用户密级管理模块,表格字段级别脱敏规则管理(模板、参数、密级、数据字段相互关联),计算引擎实现动态脱敏功能,从而解决了presto引擎上无法支持灵活高效数据脱敏功能的问题,可以通过自定义脱敏规则,从而实现数据的高效安全的共享。

    一种数据查看引擎动态调用方法

    公开(公告)号:CN114357031A

    公开(公告)日:2022-04-15

    申请号:CN202210008534.3

    申请日:2022-01-06

    Abstract: 本发明公开的属于数据加工技术领域,具体为一种数据查看引擎动态调用方法,包括具体步骤如下:S1,读取用作分析的数据表:用户通过一种编程语言,从数据源中读取要分析用的数据表;S2,建立不同的计算执行引擎来处理不同级别的数据量来进行预览和执行,预览为取部分数据进行执行,执行为取全部数据进行执行,用于预览的资源可为单机服务器配置,资源消耗较小支持用户并发数较大,本发明提升了查看数据的效率,相对于单线程计算引擎,分布式计算引擎在计算过程中增加了数据分块和资源管理的过程,对于小数据量来说这些反而增加了负担,因此对于小数据量的计算,单线程引擎更加有效。

    标签画像数据的生成存储算法及系统

    公开(公告)号:CN113656649A

    公开(公告)日:2021-11-16

    申请号:CN202110931354.8

    申请日:2021-08-13

    Abstract: 本发明公开了一种标签画像数据的生成存储算法及系统,通过接收并响应用户发送的数字标签生成请求;从数字标签生成请求中获取用户画像数据,并对用户画像数据进行降维处理,以得到目标用户画像数据;根据目标用户画像数据生成标签画像数据,并将标签画像数据进行存储。优点:标签构建周期短、能灵活快速地满足不同人员的标签需求,成本低,门槛低,容易理解、接受度高。

    一种数据查看引擎动态调用方法

    公开(公告)号:CN114357031B

    公开(公告)日:2024-09-03

    申请号:CN202210008534.3

    申请日:2022-01-06

    Abstract: 本发明公开的属于数据加工技术领域,具体为一种数据查看引擎动态调用方法,包括具体步骤如下:读取用作分析的数据表:用户通过一种编程语言,从数据源中读取要分析用的数据表,其中,编程语言为sql、R、Python中的其中一种;建立不同的计算处理引擎来处理不同级别的数据量来进行预览和执行,预览为取部分数据进行处理,执行为取全部数据进行处理,用于预览的资源为单机服务器配置,资源消耗较小支持用户并发数较大,本发明提升了查看数据的效率,相对于单线程计算引擎,分布式计算引擎在计算过程中增加了数据分块和资源管理的过程,对于小数据量来说这些反而增加了负担,因此对于小数据量的计算,单线程引擎更加有效。

    基于大数据应用的网络安全浏览数据同步更新方法

    公开(公告)号:CN114637944A

    公开(公告)日:2022-06-17

    申请号:CN202210169051.1

    申请日:2022-02-23

    Abstract: 本发明属于互联网技术领域,且公开了基于大数据应用的网络安全浏览数据同步更新方法,包括如下步骤:S1、用户可通过用户登录端口A处以输入账号密码的形式进入到静态浏览器页面内;S2、在输入账号密码正确时,会触发推送服务器向云存储服务器发出信息同步请求;云存储服务器则会通过推送服务器直接以刷新静态浏览器页面的形式进入到浏览器操作页面。本发明通过设置有推送服务器、云存储服务器和实时监测记录系统等配合从而实现网络安全浏览数据同步更新的优点,用户以正确输入账号密码的形式进入到静态浏览器页面内,会触发推送服务器内的智能判断系统,并识别是否为常用IP地址,便可以实现网络安全浏览数据同步更新的目的。

    准实时标签画像的构建方法及系统

    公开(公告)号:CN114493646A

    公开(公告)日:2022-05-13

    申请号:CN202110931356.7

    申请日:2021-08-13

    Abstract: 本发明公开了一种准实时标签画像的构建方法及系统,所述方法包括:通过获取用户数据;从所述用户数据中提取特征数据;根据所述特征数据设定为所述用户的标签画像。优点:不需要训练模型,成本低;标签构建周期短、能灵活快速地满足不同人员的标签需求,门槛低,容易理解、接受度高。

Patent Agency Ranking