-
公开(公告)号:CN111259006B
公开(公告)日:2023-06-27
申请号:CN202010020974.1
申请日:2020-01-09
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及系统。该方法包括:1)在中心端对公共基础数据进行注册;2)分布端向中心端进行分布式异构数据的汇聚传输与同步;3)在中心端对汇聚的数据资源进行建库组织与编辑;4)在中心端对数据资源进行统一发布与审核;5)在中心端进行数据资源的集成共享服务。本发明实现了分布式异构实体数据的高效汇聚传输与同步,实现了数据资源的集中建库、组织管理与统一发布,在数据资源门户实现了多种形式的数据发布服务集成与共享,具有一体化,通用可定制特点,保证了数据汇聚、管理、发布与服务过程的整体连通、高可定制和高可复用,大大提升了数据服务封装的通用性和灵活性。
-
公开(公告)号:CN114579190A
公开(公告)日:2022-06-03
申请号:CN202210145958.4
申请日:2022-02-17
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种基于流水线机制的跨数据中心协同计算的编排方法与系统,涉及跨数据中心协同计算技术领域。所述方法包括:各数据中心构建逻辑统一、物理分散的数据资源目录;根据协同分析需求,生成模型描述语言,并基于数据资源目录,使用模型描述语言对协同分析任务进行描述;对协同分析任务进行动态规划,生成跨中心流水线描述语言;基于跨中心流水线描述语言,生成跨中心的流水线子任务,并将流水线子任务分发到各数据中心执行,以向所述用户返回结果。本发明能够可视化配置跨数据中心的协同计算,监控协同计算任务规划及运行状况,能够提升跨数据中心的协同分析服务能力。
-
公开(公告)号:CN114329084A
公开(公告)日:2022-04-12
申请号:CN202111400989.1
申请日:2021-11-19
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/901 , G06F16/903
Abstract: 本发明涉及一种基于KV数据库的图数据构建方法及查询方法。该方法的步骤包括:将属性图模型中的节点数据映射为KV结构;将属性图模型中的关系数据映射为KV结构;基于KV结构,以KV数据库为基础存储属性图数据,得到KV图数据库。本发明结合图数据存储和查询特点,设计了基于KV存储的图数据存储方法,将复杂的图数据存储在简单的KV数据库中,能有效提高存储效率;在此基础上设计了图查询到KV查询的转换,能在保证正确性和完整性的前提下提升查询效率;和现有图数据的原生存储相比,本发明基于KV数据库存储图数据,结构更简单,更容易实现分布式拓展。
-
公开(公告)号:CN109582831B
公开(公告)日:2022-02-01
申请号:CN201811202708.X
申请日:2018-10-16
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/903
Abstract: 本发明公开一种支持非结构化数据存储与查询的图数据库管理系统,包括:一基于Neo4j图数据库的带标签的Neo4j属性图模型,用于存储结构化数据和BLOB的非内容的属性信息,还存储分配BLOB的唯一ID;一支持BLOB类型的BLOB数据存储模型,包括抽象存储模型和具体存储模型,用于存储BLOB的内容,并维护BLOB的ID与BLOB的属性信息之间的映射关系;一查询模块,用于查询所存储的结构化数据和BLOB类型数据。本系统能够存储结构化数据和将非结构化数据存储为BLOB类型,并实现该两种数据的查询。
-
公开(公告)号:CN111831787B
公开(公告)日:2021-09-28
申请号:CN202010513529.9
申请日:2020-06-08
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/33 , G06F16/332
Abstract: 本发明公开了一种基于次级属性的非结构化数据信息查询方法及系统。本方法为:1)对于一目标数据库,将该目标数据库中每条记录的非结构化数据作为对应记录的一级属性;2)提取每个一级属性中的内在信息作为该一级属性的次级属性;3)对该目标数据库的查询语言进行扩展,增加语义操作符“‑>”;对该目标数据库的查询引擎进行扩展,用于编译并执行符合该语义操作符“‑>”语法的查询语句;4)查询引擎根据查询条件从缓存系统中查询符合查询条件的缓存结果,如果没有匹配结果,则根据该查询条件中的一级属性查找该目标数据库中匹配的记录,然后从匹配记录的一级属性中提取次级属性并分别与该查询条件中的次级属性进行匹配,并返回匹配结果。
-
公开(公告)号:CN110232085B
公开(公告)日:2021-09-24
申请号:CN201910359658.4
申请日:2019-04-30
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/25 , G06F16/2455
Abstract: 本发明涉及一种大数据ETL任务的编排方法与系统。该方法包括:1)对用户编排的ETL任务进行数据处理组件配置和数据流向配置;2)根据数据处理组件和数据流向,将用户编排的ETL任务生成模型描述语言;3)将模型描述语言解析成ETL任务的有向无环图,所述有向无环图中的节点为数据处理组件,边为数据流向;4)根据ETL任务的有向无环图,通过执行引擎对任务进行执行。在ETL任务执行过程中可对ETL任务执行状况进行监控并对日志进行解析。该系统包括可视化引擎、Rest API接口、执行引擎、监控模块、日志模块。本发明能够可视化配置大数据ETL流程,监控ETL运行状况,提供丰富的数据处理组件,组件可扩展。
-
公开(公告)号:CN111897911B
公开(公告)日:2021-08-31
申请号:CN202010529960.2
申请日:2020-06-11
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/33
Abstract: 本发明公开了一种基于次级属性图的非结构化数据查询方法及系统。本方法为:1)对于一目标数据库,将数据库中每条记录的非结构化数据作为对应记录的一级属性;2)提取每个一级属性中的内在信息作为该一级属性的次级属性图;3)对该目标数据库的查询语言进行扩展,增加语义操作符“‑>”;对该目标数据库的查询引擎进行扩展,用于编译并执行符合该语义操作符“‑>”语法的查询语句;4)查询引擎根据查询条件从缓存系统中查询符合查询条件的缓存结果,如果没有匹配结果,则根据该查询条件中的一级属性查找该目标数据库中匹配的记录,然后从匹配记录的一级属性中提取次级属性图并分别与该查询条件中的次级属性图进行匹配,并返回匹配结果。
-
公开(公告)号:CN112163109A
公开(公告)日:2021-01-01
申请号:CN202011015942.9
申请日:2020-09-24
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/55 , G06F16/583
Abstract: 本发明涉及一种基于图片的实体消歧方法及系统。该方法的步骤包括:采用属性图的方式对多模数据进行组织,实体作为属性图的节点,描述实体的数据作为节点属性;采用属性图存储系统存储属性图的节点及节点属性,采用图片存储系统存储节点对应的图片,属性图存储系统和图片存储系统通过节点的图片属性进行关联;对于待消歧的两个实体,根据属性图存储系统和图片存储系统检索出两个实体对应的图片,通过比较两个实体对应的图片是否指同一实体实现实体消歧。本发明提供了基于多模数据的实体消岐新思路,利用图片与实体的对应关系解决文本歧义导致的实体指称不明的问题,利用多模数据蕴含信息丰富的特点,简化了实体消岐流程,提高了整体效率。
-
公开(公告)号:CN107515887A
公开(公告)日:2017-12-26
申请号:CN201710515380.6
申请日:2017-06-29
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明涉及一种适用于多种大数据管理系统的交互式查询方法,其步骤包括:1)建立关联文档模型,其包括文档集与关联集,所述关联集是文档之间的关联构成的集合;2)将不同的原始数据模型转换为关联文档模型,通过关联文档模型将不同的数据源连接为一体;3)基于关联文档模型,建立适合于多元数据的统一查询语言;4)利用适合于多元数据的统一查询语言,实现对关系型数据库、图数据库以及文件系统的统一查询。本发明首次提出了适合于多元数据管理系统的统一查询语言,可以实现对关系型数据库、图数据库,以及文件系统的统一查询。
-
公开(公告)号:CN102609255A
公开(公告)日:2012-07-25
申请号:CN201210018123.9
申请日:2012-01-19
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明提供一种Spring IOC配置文件的生成方法,其步骤包括:1)载入一个或多个Java对象实例,读取并过滤欲编组的各Java对象实例的属性列表;2)创建对应的节点创造器,并定义写入规则;3)节点创造器根据写入规则生成Spring IOC配置文件节点,并在该节点中写入Java对象实例及其属性;4)按照不同输出方式将所有节点输出到Spring IOC配置文件。本发明方法的Java对象实例间可以相互引用,生成的Spring IOC配置文件可被Spring框架正确解组;灵活性和编组效率高,可极大地简化配置工作,方便用户使用。
-
-
-
-
-
-
-
-
-