-
公开(公告)号:CN107291807A
公开(公告)日:2017-10-24
申请号:CN201710343003.9
申请日:2017-05-16
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种基于图遍历的SPARQL查询优化方法。本方法为:1)使用属性图表示RDF数据中三元组,然后利用Bigtable模型存储RDF数据,得到RDF数据对应的Bigtable数据;2)将SPARQL查询转化对RDF属性图的遍历;3)根据步骤2)获得的遍历序列,遍历Bigtable数据中满足条件的所有节点,完成SPARQL查询。本发明一方面消除了传统SPARQL查询对Hash等数据结构的依赖,减少了中间数据的产生,避免了大规模RDF数据的连接计算;另一方面,能有效利用基于Bigtable的大数据处理技术存储和管理RDF海量关联知识网络数据,加速RDF关联数据的查询和分析。
-
公开(公告)号:CN107229672A
公开(公告)日:2017-10-03
申请号:CN201710261610.0
申请日:2017-04-20
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种针对SolrCloud的大数据SQL查询方法及系统。本方法为:1)将Solr中的文档集合映射成SQL表格,将Solr中的文档和字段分别对应映射成SQL表格的行和列;2)对收到的SQL查询语句进行解析,将其中的SQL关系查询条件解析RexNode对象;3)针对RexNode对象的具体结构逐层进行翻译,得到对应的Solr查询条件;将该SQL查询语句中的NOT条件转换对应的Solr查询条件;4)将步骤3)得到的Solr查询条件分解成针对SolrCloud集群的逐页查询,并发送给SolrCloud服务器进行查询。本发明改善了现有数据库系统无法满足全文搜索的现状。
-
公开(公告)号:CN107145500A
公开(公告)日:2017-09-08
申请号:CN201710160266.6
申请日:2017-03-17
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明提供一种基于Memcached的大数据缓存交互式查询方法,该方法基于Spark SQL提供的构建外部数据源的方式,结合Memcached缓存的内存读写特点,对特定应用场景下的大数据存储介质作了重新的定义。同时实现了大数据处理过程中中间计算结果在Memcached服务器中的缓存,通过Memcached良好的读写性能,结合Spark SQL强大的交互式查询分析能力,有效的提高了大数据缓存进行交互式查询的能力。
-
公开(公告)号:CN107122486A
公开(公告)日:2017-09-01
申请号:CN201710321988.5
申请日:2017-05-09
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种支持BLOB的多元大数据融合方法和系统。本方法为:1)基于RDF数据模型,创建RDF‑B数据模型;RDF‑B数据模型采用三元组形式来表达每个资源的属性及其属性值,所述属性值包括BLOB类型的属性值,BLOB类型的属性值包括数据内容、长度、摘要和标志信息;2)RDF‑B数据模型对收到的数据生成三元组并存储到一前端存储系统;其中,如果该数据为BLOB类型,则RDF‑B数据模型根据该数据对应三元组中BLOB类型的属性值生成一四元组 作为该数据的三元组信息的属性值,然后将该数据的三元组保存到该前端存储系统,根据该句柄将数据内容存储到后端存储系统。
-
公开(公告)号:CN103020281B
公开(公告)日:2016-01-27
申请号:CN201210580189.7
申请日:2012-12-27
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种基于空间数据数值索引的数据存储与检索方法。本方法为:1)从互联网中自动抓取包含空间数据的页面,对其进行解析后存储到数据库中;2)在数据库中选择要进行索引的属性,对于其中非数值类型的属性,将其转换成与其应的数值进行存储;3)按照空间数据所属类型对空间数据进行分类索引,为每一数据产品的数据表建立一数值索引文件,将其作为主索引,并按设定时间周期创建增量索引,定期将增量索引与主索引进行合并;所述数值索引文件包括一个索引属性与倒排文件映射表和多个数值文档倒排表;4)将所述索引部署到检索服务端;5)检索服务端根据收到的检索请求,对数据表进行检索。本方法检索速度、支持增量索引。
-
公开(公告)号:CN102254030B
公开(公告)日:2013-04-10
申请号:CN201110220536.0
申请日:2011-08-02
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向全球变化研究的空间科学数据自动汇聚方法,属于信息技术领域。本方法为:1)服务器定期对数据源进行访问,生成下载任务;2)根据当前下载任务,下载元数据文件并保存到服务器,对下载的文件进行质量检查、元数据项提取、计算和转换;3)将元数据文件路径、元数据项保存到元数据项数据库并建立索引;4)建立元数据文件、元数据项数据库数据、索引数据之间的映射关系,并提供一检索接口;5)服务器据查询条件查询是否存在所查询实体数据,若不存在则据数据预订申请生成实体数据下载任务进行下载,并对下载数据进行质量检查及元数据项更新。本方法可一站式地查询、获取分布在全球各地的海量全球变化空间科学数据资源。
-
公开(公告)号:CN102254030A
公开(公告)日:2011-11-23
申请号:CN201110220536.0
申请日:2011-08-02
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向全球变化研究的空间科学数据自动汇聚方法,属于信息技术领域。本方法为:1)服务器定期对数据源进行访问,生成下载任务;2)根据当前下载任务,下载元数据文件并保存到服务器,对下载的文件进行质量检查、元数据项提取、计算和转换;3)将元数据文件路径、元数据项保存到元数据项数据库并建立索引;4)建立元数据文件、元数据项数据库数据、索引数据之间的映射关系,并提供一检索接口;5)服务器据查询条件查询是否存在所查询实体数据,若不存在则据数据预订申请生成实体数据下载任务进行下载,并对下载数据进行质量检查及元数据项更新。本方法可一站式地查询、获取分布在全球各地的海量全球变化空间科学数据资源。
-
公开(公告)号:CN116225642A
公开(公告)日:2023-06-06
申请号:CN202211675711.X
申请日:2022-12-26
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种基于流水线机制的跨中心协同任务动态规划方法,其步骤包括:1)根据协同需求编排数据源和协同模型算法,配置生成跨中心协同计算任务;2)将跨中心协同计算任务按照是否会产生数据迁移行为为原则进行子任务划分,形成DAG有向无环图;3)根据DAG有向无环图,将不同数据源划分到不同子任务之中;4)当子任务T分配有数据源D时,则将子任务T发送到该数据源D所在数据中心执行;对于未分配数据源的子任务T’,则根据子任务T’的上游子任务执行情况及各数据中心资源情况,确定执行子任务T’的数据中心,然后将子任务T’发送到对应的数据中心执行。本发明实现面向复杂分析场景的跨数据中心协同任务的高效编排与执行。
-
公开(公告)号:CN111611011B
公开(公告)日:2023-01-13
申请号:CN202010285956.6
申请日:2020-04-13
Applicant: 中国科学院计算机网络信息中心(CN)
Abstract: 本发明涉及一种支持Blob数据类型的JSON语法扩展方法和解析方法及装置。该方法对JSON语法进行扩展,在JSON语法中增加Blob数据类型,通过Blob数据类型描述非结构化数据;根据Blob数据类型和JSON支持的普通数据类型,生成扩展的JSON文件。解析过程包括:解析JSON支持的普通数据类型;解析Blob数据类型,根据Blob数据类型描述的信息定位非结构化数据的位置,并传输到本地供用户使用。本发明提供扩展的JSON及其解析工具,将JSON进行扩展使之支持处理非结构化数据,使得各种类型的数据都可以凭借JSON的优越性能进行处理和分析,并提供了跨地域分布数据处理的解决方案。
-
公开(公告)号:CN115357682A
公开(公告)日:2022-11-18
申请号:CN202210871371.1
申请日:2022-07-22
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种面向多版本非结构化数据的语义信息查询方法及装置。所述方法包括:获取查询语句;将所述查询语句解析为抽象语法树;在节点查找节点运行所述节点查找算子,获取指定的对象属性计算节点;在版本抽取节点基于所述查询语句,得到非结构化数据对象和语义信息名称的版本号;在指定的对象属性计算节点根据所述非结构化数据对象的版本号与所述非结构化数据对象,计算所述非结构化数据对象的属性值;在语义信息计算节点基于所述非结构化数据对象的属性值、所述语义信息名称以及所述语义信息名称的版本号,得到语义信息查询结果。本发明能够支持多版本非结构化数据语义信息的查询。
-
-
-
-
-
-
-
-
-