一种基于大数据的结构化敏感数据还原检测的方法

    公开(公告)号:CN112417456B

    公开(公告)日:2022-02-08

    申请号:CN202011276997.5

    申请日:2020-11-16

    Abstract: 本发明涉及信息安全技术领域,本发明公开了一种基于大数据的结构化敏感数据还原检测的方法,包括结构化数据抽取、知识表示及知识图谱构建和敏感数据还原,结构化数据抽取是针对数据库及文本文件中的结构化数据,依据数据标准进行汇聚与抽取,数据汇聚最后形式为关系型数据库,之后将数据转换为RDF格式;知识表示及知识图谱构建是将不同数据源获取的知识要素进行融合构建数据之间的关联关系形成知识图谱;敏感数据还原是依据标准配置从汇聚后的数据中抽取关联数据,按照知识图谱的关系,将数据汇入关联数据库,再进行敏感数据还原查询。本发明解决了大数据环境下海量结构化敏感数据脱敏后无法检测其是否被还原,评估敏感数据泄露无法评估的问题。

    基于spark大数据平台的日志信息类型提取方法、挖掘方法

    公开(公告)号:CN112632020A

    公开(公告)日:2021-04-09

    申请号:CN202011560919.8

    申请日:2020-12-25

    Abstract: 本发明涉及计算机信息系统技术领域,公开了基于spark大数据平台的日志信息类型提取方法,包括:预处理离线日志数据,过滤掉不能识别的日志条目,存入HDFS中;将常规变量替换为通配符,同时对日志条目进行规整处理,完成简单的通配化处理,并将通配化处理后的数据临时存入HDFS中;将通配化处理后的数据进行时间根据时间窗进行过滤,将日志数据过滤拆分成有效日志集合和无效日志集合,去重后临时存入HDFS中;用迭代分组挖掘方法,分别计算出有效日志和无效日志的日志信息类型,将结果存入HDFS中。上述方案进行日志的自动化分析处理,有利于数据的恢复和使用,并能够高效准确地识别不同的日志信息类型。同时本发明也公开了时间窗过滤方法和迭代分组挖掘方法。

    一种基于大数据的结构化敏感数据还原检测的方法

    公开(公告)号:CN112417456A

    公开(公告)日:2021-02-26

    申请号:CN202011276997.5

    申请日:2020-11-16

    Abstract: 本发明涉及信息安全技术领域,本发明公开了一种基于大数据的结构化敏感数据还原检测的方法,包括结构化数据抽取、知识表示及知识图谱构建和敏感数据还原,结构化数据抽取是针对数据库及文本文件中的结构化数据,依据数据标准进行汇聚与抽取,数据汇聚最后形式为关系型数据库,之后将数据转换为RDF格式;知识表示及知识图谱构建是将不同数据源获取的知识要素进行融合构建数据之间的关联关系形成知识图谱;敏感数据还原是依据标准配置从汇聚后的数据中抽取关联数据,按照知识图谱的关系,将数据汇入关联数据库,再进行敏感数据还原查询。本发明解决了大数据环境下海量结构化敏感数据脱敏后无法检测其是否被还原,评估敏感数据泄露无法评估的问题。

    基于spark大数据平台的日志信息类型提取方法、挖掘方法

    公开(公告)号:CN112632020B

    公开(公告)日:2022-03-18

    申请号:CN202011560919.8

    申请日:2020-12-25

    Abstract: 本发明涉及计算机信息系统技术领域,公开了基于spark大数据平台的日志信息类型提取方法,包括:预处理离线日志数据,过滤掉不能识别的日志条目,存入HDFS中;将常规变量替换为通配符,同时对日志条目进行规整处理,完成简单的通配化处理,并将通配化处理后的数据临时存入HDFS中;将通配化处理后的数据进行时间根据时间窗进行过滤,将日志数据过滤拆分成有效日志集合和无效日志集合,去重后临时存入HDFS中;用迭代分组挖掘方法,分别计算出有效日志和无效日志的日志信息类型,将结果存入HDFS中。上述方案进行日志的自动化分析处理,有利于数据的恢复和使用,并能够高效准确地识别不同的日志信息类型。同时本发明也公开了时间窗过滤方法和迭代分组挖掘方法。

    Hive的动态脱敏方法及动态脱敏系统

    公开(公告)号:CN111177788A

    公开(公告)日:2020-05-19

    申请号:CN202010012255.5

    申请日:2020-01-07

    Abstract: 本申请提供了一种Hive的动态脱敏方法及动态脱敏系统,动态脱敏方法包括以下步骤:获取Hive SQL语句;对获取的Hive SQL语句进行脱敏化处理,得到脱敏化处理后的Hive SQL语句;获取脱敏化处理后的Hive SQL语句对应的请求结果。本申请通过网关代理服务器访问大数据平台里的Hive,根据可视化管理平台配置的脱敏策略,网关代理服务器对客户端请求的Hive SQL语句进行脱敏化处理,返回脱敏数据。本申请能够显著地降低敏感数据泄露的风险;本申请借助动态数据脱敏技术,屏蔽敏感信息,还可以使屏蔽的信息保留其原始数据格式和属性,以确保应用程序可在使用脱敏数据的开发与测试过程中正常运行。

Patent Agency Ranking