-
公开(公告)号:CN114510522A
公开(公告)日:2022-05-17
申请号:CN202210030132.3
申请日:2022-01-12
Applicant: 南湖实验室 , 北京大数据先进技术研究院
Abstract: 本发明提供了一种基于数据分类的数据总线,数据总线按照数据结构种类被划分为多个数据空间,每一类数据结构对应一个数据空间,每个数据空间对应一个接口基类和多个接口子类,各接口子类通过继承相应数据空间中的接口基类进行本数据总线与相应数据结构种类的子类数据结构之间的对接。在数据总线中按照数据结构种类划分数据空间,每个数据空间对应于多种子类型数据结构,用户在操作数据时,只需要区分数据属于哪一大类,无需细分到具体的数据类别,方便用户的使用,同时方便用户扩展新的数据类型,无需进行重写。
-
公开(公告)号:CN113791742B
公开(公告)日:2022-03-25
申请号:CN202111368382.X
申请日:2021-11-18
Applicant: 南湖实验室 , 北京大数据先进技术研究院
Abstract: 本发明提供了一种高性能的数据湖系统及数据存储方法,数据存储方法包括以下步骤:S1.将文件转成文件流;S2.将文件流转成一个数组嵌套多个子数组的形式;S3.将所述的转成RDD后存储至数据湖的存储层中。本方案提出嵌套的字段结构,为出湖过程的并行处理提供字段结构基础,有效提高出湖性能,并且根据硬件内核灵活生成嵌套的子数组数量,使数据湖具有更强的扩展性能,针对不同的用户均能够保持最佳的入湖效率,满足用户需求。
-
公开(公告)号:CN113282946B
公开(公告)日:2021-11-16
申请号:CN202110817060.2
申请日:2021-07-20
Applicant: 南湖实验室
Abstract: 本发明公开了一种基于高可信环境下数据访问过程的信息安全方法及系统,包括:S1.用户交互单元可信接收任务请求并生成任务标识符;S2.数据运算单元下载并加载任务请求对应的应用程序至加密内存,并得到测量值及其测量值签名;S3.数据授权单元根据测量值生成访问令牌;S4.数据运算单元基于访问令牌使用数据中心相应的数据,基于该数据得到结果,将结果和使用数据进行可信处理分别得到结果信息和使用数据信息;S5.用户交互单元对使用数据信息和结果信息分别进行可信验证,并在验证成功后将结果信息发送给数据使用方。本方案对实时移动到数据端的程序做实时的审查、验证,在验证成功后才授权其访问数据中心,有效避免不可信软件对数据安全造成威胁。
-
-