-
公开(公告)号:CN102332004A
公开(公告)日:2012-01-25
申请号:CN201110217035.7
申请日:2011-07-29
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明涉及一种用于海量数据管理的数据处理方法和系统。该方法包括:设置多个数据加载装置的步骤、设置元数据管理装置的步骤、在所述数据存储服务器上设置数据管理服务装置的步骤。该系统包括:多个数据加载装置、元数据管理装置、数据存储服务器。该方法和系统提高了海量数据的处理效率,降低了针对海量数据处理的复杂性,从而实现提高海量数据检索与挖掘的效率。
-
公开(公告)号:CN102521406B
公开(公告)日:2014-06-25
申请号:CN201110442091.0
申请日:2011-12-26
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种海量结构化数据复杂查询任务的分布式查询方法和系统。其中海量结构化数据的分布式查询方法包括:接收用户发出的查询任务并将查询任务分解为多个查询子任务;以及根据该多个查询子任务中的每个查询子任务,对分布式存储的数据并发执行分批次查询,并分布式返回查询到的结果集。本发明采用的分批次查询并保持中间结果状态的查询方法,充分考虑了界面展示应用中小数据量快速查询的需求,同时也兼顾了统计、分析背景下的大结果集的统计需求。
-
公开(公告)号:CN102521405A
公开(公告)日:2012-06-27
申请号:CN201110441775.9
申请日:2011-12-26
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种支持高速加载的海量结构化数据存储、查询方法和系统。其中海量结构化数据的分布式存储方法包括:从用户端接收高速加载的数据;以及利用双滑动窗口结构,将加载的数据进行分布式缓存,并在固定周期之后将缓存的数据进行分布式存储。通过本发明的海量结构化数据分布式存储方法,能够实现对新加载数据的缓存,从而在后期查询数据时能够提高流数据这种对近期加载数据使用频率高的应用下的查询效率。
-
公开(公告)号:CN101350624B
公开(公告)日:2011-05-04
申请号:CN200810119940.7
申请日:2008-09-11
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种支持ANSI编码的中文文本的压缩方法以及相应的解压缩方法,该压缩方法包括下列步骤:根据待压缩中文文本中的字符在字符码表中的位置,将所述待压缩中文文本中的字符分别用1个或多个字节编码,且在生成的码字中标识所述字节个数,其中,所述字符码表包括根据所述待压缩中文文本中的字符的出现频率的降序所排列的字符;将生成的码字写入压缩文件。本发明最大限度地保持了中文数据流的语义特征,并且能与各种压缩算法、压缩软件配合使用。
-
公开(公告)号:CN102521405B
公开(公告)日:2014-06-25
申请号:CN201110441775.9
申请日:2011-12-26
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种支持高速加载的海量结构化数据存储、查询方法和系统。其中海量结构化数据的分布式存储方法包括:从用户端接收高速加载的数据;以及利用双滑动窗口结构,将加载的数据进行分布式缓存,并在固定周期之后将缓存的数据进行分布式存储。通过本发明的海量结构化数据分布式存储方法,能够实现对新加载数据的缓存,从而在后期查询数据时能够提高流数据这种对近期加载数据使用频率高的应用下的查询效率。
-
公开(公告)号:CN102332004B
公开(公告)日:2013-04-24
申请号:CN201110217035.7
申请日:2011-07-29
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明涉及一种用于海量数据管理的数据处理方法和系统。该方法包括:设置多个数据加载装置的步骤、设置元数据管理装置的步骤、在所述数据存储服务器上设置数据管理服务装置的步骤。该系统包括:多个数据加载装置、元数据管理装置、数据存储服务器。该方法和系统提高了海量数据的处理效率,降低了针对海量数据处理的复杂性,从而实现提高海量数据检索与挖掘的效率。
-
公开(公告)号:CN102332030A
公开(公告)日:2012-01-25
申请号:CN201110314927.9
申请日:2011-10-17
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供用于分布式KEY-VALUE数据存储系统的数据存储、管理方法及系统。在存储数据之前,先根据不同的数据类型分别数据转换为有序的字符串,然后将其保存到分布式KEY-VALUE数据存储系统中,经转换后的得到的字符串以字典序排序后的存储顺序与转换前的数值顺序相一致。在数据检索时,对检索条件中的数值进行相同的转化。支持复杂数据类型的存储与检索,包括多字段属性查询、多数据类型查询以及数值统计分析等复杂的数据查询方法。
-
公开(公告)号:CN101394424A
公开(公告)日:2009-03-25
申请号:CN200810224941.8
申请日:2008-10-27
Applicant: 中国科学院计算技术研究所
IPC: H04L29/08
Abstract: 本发明涉及磁盘级网络数据备份的方法和系统,方法包括:步骤1,集中控制装置向备份任务对应的终端的备份恢复代理装置发送备份任务,备份恢复代理装置接收备份任务;步骤2,备份恢复代理装置确定备份的数据量,向存储管理装置申请用于备份的存储资源;步骤3,存储管理装置分配存储资源,并将存储资源的信息回复给备份恢复代理装置;步骤4,备份恢复代理装置获得存储资源的信息后,读取备份数据,将备份数据发送给指定的存储装置的备份服务端装置;步骤5,备份服务端装置接收备份数据,将备份数据写到存储装置的存储介质。本发明能够对采用任何业务应用类型的终端进行数据备份和恢复,降低备份系统的建设成本,提高了传输的效率。
-
公开(公告)号:CN101350624A
公开(公告)日:2009-01-21
申请号:CN200810119940.7
申请日:2008-09-11
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种支持ANSI编码的中文文本的压缩方法以及相应的解压缩方法,该压缩方法包括下列步骤:根据待压缩中文文本中的字符在字符码表中的位置,将所述待压缩中文文本中的字符分别用1个或多个字节编码,且在生成的码字中标识所述字节个数,其中,所述字符码表包括根据所述待压缩中文文本中的字符的出现频率的降序所排列的字符;将生成的码字写入压缩文件。本发明最大限度地保持了中文数据流的语义特征,并且能与各种压缩算法、压缩软件配合使用。
-
公开(公告)号:CN102521406A
公开(公告)日:2012-06-27
申请号:CN201110442091.0
申请日:2011-12-26
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种海量结构化数据复杂查询任务的分布式查询方法和系统。其中海量结构化数据的分布式查询方法包括:接收用户发出的查询任务并将查询任务分解为多个查询子任务;以及根据该多个查询子任务中的每个查询子任务,对分布式存储的数据并发执行分批次查询,并分布式返回查询到的结果集。本发明采用的分批次查询并保持中间结果状态的查询方法,充分考虑了界面展示应用中小数据量快速查询的需求,同时也兼顾了统计、分析背景下的大结果集的统计需求。
-
-
-
-
-
-
-
-
-