-
公开(公告)号:CN114722064A
公开(公告)日:2022-07-08
申请号:CN202210175023.0
申请日:2022-02-23
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/242 , G06F16/2455 , G06F21/62
Abstract: 本发明属于大数据技术领域,且公开了一种基于presto引擎的敏感数据识别及脱敏方法包括数据输入单元、数据识别单元、数据脱敏单元和数据输出单元;所述数据输入单元,用于用户数据的输入并触发敏感数据识别单元;所述数据识别单元。该发明通过其简单的数据结构,列式存储逻辑行,大部分数据都可以轻易的转化成presto所需要的这种数据结构,且利用presto引擎进行数据脱敏,解决presto引擎上无法支持灵活高效数据脱敏功能的问题,可以通过自定义脱敏规则,平台全流程化、引擎解耦,主数据规则引擎生成、数据标准规范引擎、数据质量规则引擎可基于需求场景进行能力扩展和升级,能较好的集成不同的用户管理平台,元数据管理平台。
-
公开(公告)号:CN114626805A
公开(公告)日:2022-06-14
申请号:CN202210175025.X
申请日:2022-02-23
Applicant: 南方电网数字电网研究院有限公司
IPC: G06Q10/10 , G06Q10/06 , G06F16/215 , G06F16/22 , G06Q50/06
Abstract: 本发明涉及电网数据管理技术领域,且公开了一种基于NLP、KG技术的电网数据智能化管理方法,包括以下步骤,主数据目录和数据标准生成,先基于《南网电网企业公共信息模型》、《业务对象清单》《数据质量标准清单》通过NLP和KG技术生成业务元数据。该基于NLP、KG技术的电网数据智能化管理方法,通过主数据目录生成,数据标准生成,质量规则引擎生成及质量自动化探查,数据关系及影响链分析,数据问题自动修复等,实现数据资产的自动化构建和数据质量的保障,一方面,降低数据治理和资产构建过程中的数据资产目录梳理与数据标准规范梳理的人力投入,更加省时省力,另外一方面,更全面的保障数据质量,为数据价值发挥和应用提供基础。
-
公开(公告)号:CN114625764A
公开(公告)日:2022-06-14
申请号:CN202210175021.1
申请日:2022-02-23
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/2455 , G06F16/2458 , G06F16/22 , G06F21/62
Abstract: 本发明属于计算机技术与信息安全技术领域,且公开了基于混合引擎的大数据处理系统与方法,包括如下步骤:S1、脱敏规则生成,包括系统规则和用户规则;a、脱敏规则主要包括以下信息,脱敏模板名称和类型、脱敏字段的字段类型(只有符合字段类型要求的字段才能应用该脱敏规则,字段类型列表)。本发明通过presto实现动态脱敏功能,支持脱敏规则模板的管理,支持预定义和自定义方式,通过用户密级管理模块,表格字段级别脱敏规则管理(模板、参数、密级、数据字段相互关联),计算引擎实现动态脱敏功能,从而解决了presto引擎上无法支持灵活高效数据脱敏功能的问题,可以通过自定义脱敏规则,从而实现数据的高效安全的共享。
-
公开(公告)号:CN114357031A
公开(公告)日:2022-04-15
申请号:CN202210008534.3
申请日:2022-01-06
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/2458 , G06F16/21 , G06F16/22 , G06F16/25 , G06F16/27
Abstract: 本发明公开的属于数据加工技术领域,具体为一种数据查看引擎动态调用方法,包括具体步骤如下:S1,读取用作分析的数据表:用户通过一种编程语言,从数据源中读取要分析用的数据表;S2,建立不同的计算执行引擎来处理不同级别的数据量来进行预览和执行,预览为取部分数据进行执行,执行为取全部数据进行执行,用于预览的资源可为单机服务器配置,资源消耗较小支持用户并发数较大,本发明提升了查看数据的效率,相对于单线程计算引擎,分布式计算引擎在计算过程中增加了数据分块和资源管理的过程,对于小数据量来说这些反而增加了负担,因此对于小数据量的计算,单线程引擎更加有效。
-
公开(公告)号:CN113656649A
公开(公告)日:2021-11-16
申请号:CN202110931354.8
申请日:2021-08-13
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/901 , G06Q30/02
Abstract: 本发明公开了一种标签画像数据的生成存储算法及系统,通过接收并响应用户发送的数字标签生成请求;从数字标签生成请求中获取用户画像数据,并对用户画像数据进行降维处理,以得到目标用户画像数据;根据目标用户画像数据生成标签画像数据,并将标签画像数据进行存储。优点:标签构建周期短、能灵活快速地满足不同人员的标签需求,成本低,门槛低,容易理解、接受度高。
-
公开(公告)号:CN111581758A
公开(公告)日:2020-08-25
申请号:CN202010375557.9
申请日:2020-05-07
Applicant: 广东电网有限责任公司电力调度控制中心 , 南方电网数字电网研究院有限公司
IPC: G06F30/18 , G06F111/02 , G06F113/04
Abstract: 本发明公开了一种电网图形拓扑建模方法及计算机可读存储介质,方法包括:服务端接收前端发送的建模参数,包括线路名称、坐标点集合、操作类型和操作用户;根据预设的操作类型与设备类型的关联关系,确定操作类型对应的设备类型;若设备类型中的一设备类型对应点设备,则根据建模参数,构建对应的各点设备的数据对象;若设备类型中的一设备类型对应线设备,则根据建模参数,构建对应的各线设备的数据对象;若设备类型中的两个设备类型存在拓扑连接关系,则根据对应的各设备的位置数据,构建拓扑数据;将各设备的数据对象以及所述拓扑数据保存至数据库。本发明可提升电网图形拓扑数据建模的性能。
-
公开(公告)号:CN114357031B
公开(公告)日:2024-09-03
申请号:CN202210008534.3
申请日:2022-01-06
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/2458 , G06F16/21 , G06F16/22 , G06F16/25 , G06F16/27
Abstract: 本发明公开的属于数据加工技术领域,具体为一种数据查看引擎动态调用方法,包括具体步骤如下:读取用作分析的数据表:用户通过一种编程语言,从数据源中读取要分析用的数据表,其中,编程语言为sql、R、Python中的其中一种;建立不同的计算处理引擎来处理不同级别的数据量来进行预览和执行,预览为取部分数据进行处理,执行为取全部数据进行处理,用于预览的资源为单机服务器配置,资源消耗较小支持用户并发数较大,本发明提升了查看数据的效率,相对于单线程计算引擎,分布式计算引擎在计算过程中增加了数据分块和资源管理的过程,对于小数据量来说这些反而增加了负担,因此对于小数据量的计算,单线程引擎更加有效。
-
公开(公告)号:CN114637944A
公开(公告)日:2022-06-17
申请号:CN202210169051.1
申请日:2022-02-23
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/958 , G06F16/957 , H04L9/40 , H04L67/1097 , H04L67/55
Abstract: 本发明属于互联网技术领域,且公开了基于大数据应用的网络安全浏览数据同步更新方法,包括如下步骤:S1、用户可通过用户登录端口A处以输入账号密码的形式进入到静态浏览器页面内;S2、在输入账号密码正确时,会触发推送服务器向云存储服务器发出信息同步请求;云存储服务器则会通过推送服务器直接以刷新静态浏览器页面的形式进入到浏览器操作页面。本发明通过设置有推送服务器、云存储服务器和实时监测记录系统等配合从而实现网络安全浏览数据同步更新的优点,用户以正确输入账号密码的形式进入到静态浏览器页面内,会触发推送服务器内的智能判断系统,并识别是否为常用IP地址,便可以实现网络安全浏览数据同步更新的目的。
-
公开(公告)号:CN114493646A
公开(公告)日:2022-05-13
申请号:CN202110931356.7
申请日:2021-08-13
Applicant: 南方电网数字电网研究院有限公司
IPC: G06Q30/02
Abstract: 本发明公开了一种准实时标签画像的构建方法及系统,所述方法包括:通过获取用户数据;从所述用户数据中提取特征数据;根据所述特征数据设定为所述用户的标签画像。优点:不需要训练模型,成本低;标签构建周期短、能灵活快速地满足不同人员的标签需求,门槛低,容易理解、接受度高。
-
公开(公告)号:CN112784994A
公开(公告)日:2021-05-11
申请号:CN202011633318.5
申请日:2020-12-31
Applicant: 浙江大学 , 南方电网数字电网研究院有限公司
Abstract: 本发明公开一种基于区块链的联邦学习数据参与方贡献值计算和激励方法,该方法包括步骤:对数据参与方的本地训练模型进行特征提取,获得模型更新数据;数据需求方对所述模型更新数据解码,得到中间验证模型;数据需求方对中间验证模型分批次评估得到评估指标;根据所述评估指标计算所述数据参与方的贡献度;根据所述数据参与方的贡献度向数据参与方分配激励值;将数据参与方的激励值和地址形成奖励队列放入区块链上。本发明以由数据需求方对数据参与方的贡献进行评估和计算,再以各方贡献为分配依据进行奖励的分配,保证公平性,同时提高数据拥有方参与联邦学习的热情;有效地鼓励和吸引数据拥有方参与到联邦学习中来。
-
-
-
-
-
-
-
-
-