-
公开(公告)号:CN103780692A
公开(公告)日:2014-05-07
申请号:CN201410027157.3
申请日:2014-01-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种键值存储的数据访问方法及其系统,该方法根据跳表中每个数据节点的数据访问频率,动态调整每个数据节点高度,以实现高频数据的快速访问,该方法包括:访问频度设置步骤和数据节点高度调整步骤,访问频度设置步骤用于跳表中的每个节点动态设置一个访问频度,数据节点高度调整步骤用于通过动态设置的访问频度调整每个节点高度,实现访问频率高的数据增加节点高度,访问频率低的数据降低节点高度。
-
公开(公告)号:CN101706805B
公开(公告)日:2011-11-09
申请号:CN200910236822.9
申请日:2009-10-30
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明涉及对象存储方法及系统,元数据存储于元数据服务器,文件数据的复本存储于对象存储服务器,方法包括:步骤1,客户端在进行写操作时,从元数据服务器读取写操作的对象文件的复本位置信息,根据复本位置信息,向主复本所在对象存储服务器发送写请求;步骤2,主复本所在对象存储服务器接收写请求,更新本地的主复本,并将写请求转发给备份复本所在对象存储服务器;步骤3,备份复本所在对象存储服务器接收到写请求后,更新本地的备份复本,并向主复本所在对象存储服务器发送应答;步骤4,主复本所在对象存储服务器接收应答,当接收到部分备份复本的对象存储服务器的应答后,向客户端发送写操作成功应答。本发明能够提高存储系统中写性能。
-
公开(公告)号:CN101247417B
公开(公告)日:2011-07-27
申请号:CN200810101521.0
申请日:2008-03-07
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及计算机存储系统体系结构领域,公开了一种双层元数据处理系统及方法。在本发明中,通过在元数据服务器中设置元数据处理服务器模块和元数据对象存储服务器模块,将对元数据进行的读取和修改操作请求进行了合理的分流,使得不同类型的元数据操作请求在不同的层次上进行处理,从而能够针对元数据操作请求的类型进行优化,同时,在处理读取元数据的操作请求时,可以根据请求创建多个元数据复本,以平衡对读取元数据操作的访问负载。
-
公开(公告)号:CN101996250A
公开(公告)日:2011-03-30
申请号:CN201010546473.3
申请日:2010-11-15
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种基于Hadoop的海量流数据存储和查询方法及系统。所述方法,包括下列步骤:构建段级列簇式存储结构:将流数据依次存储为列簇记录,并对列簇记录从前往后进行压缩得到压缩数据页,将该压缩数据页写到一个列簇数据,同时将该压缩数据页的页面概要信息追加写入到列簇数据的尾端,得到完整的数据段;在查询语句执行的过程中,根据过滤条件,利用存储在数据段尾端的所述页面概要信息构建出一张扫描表对数据进行快速过滤。
-
公开(公告)号:CN100498781C
公开(公告)日:2009-06-10
申请号:CN200610089249.X
申请日:2006-08-11
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种用附着属性存储逻辑文件系统元数据的方法,将逻辑文件系统的元数据以本地文件系统文件属性的方式存储在本地文件系统上,包括:创建逻辑文件系统的文件或者目录;删除一个文件或者目录;修改逻辑文件系统属性;对逻辑文件系统上的文件或目录改名;查询逻辑文件系统上的一个文件或者目录的元数据信息。利用本发明的方法,逻辑文件系统可以直接利用本地文件系统的元数据处理功能,继承本地文件系统的稳定性和性能特色,并且这种方法有着实现简便,适应性强的优点。
-
公开(公告)号:CN101388824A
公开(公告)日:2009-03-18
申请号:CN200810224093.0
申请日:2008-10-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及机群系统中分片存储模式下文件读取的方法和系统,方法包括:步骤1,客户端将读请求所访问的数据的位置信息和预读状态信息封装到读请求消息中,发送给存储所述数据的存储服务器;步骤2,存储服务器根据读请求消息中位置信息和获得的存储布局信息确定被访问的数据在分片中的位置,依据读请求消息中预读状态信息完成预取操作,如果被访问的数据的结束位置为分片的结束位置,则停止预取操作;将读取的被访问的数据发送给客户端;步骤3,客户端将获得的所述被访问的数据返回给所述应用层。本发明能够使机群文件系统中,分片存储模式下,附属于同一客户端负载的多个存储服务器上相关预取操作能够协调、统一处理。
-
公开(公告)号:CN110187832B
公开(公告)日:2023-08-22
申请号:CN201910419053.X
申请日:2014-05-21
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06 , G06F12/0868 , G06F12/0871 , G06F12/121
Abstract: 本发明实施例提供了一种数据操作的方法、设备和系统,涉及计算机领域,以解决现有技术中CPU对块设备进行数据操作的效率低的问题。该方法包括:接收CPU发送的操作指令;当该操作指令为读指令时,读取该块设备中的第一数据块,并将该第一数据块中的待读取数据返回至CPU;当该操作指令为写指令时,将该写指令指示的待写入数据写入到缓存中,并将包括该待写入数据的第二数据块写入该块设备。该方法用于对块设备中的数据进行操作。
-
公开(公告)号:CN113259410B
公开(公告)日:2023-06-20
申请号:CN202110370802.1
申请日:2021-04-07
Applicant: 中国科学院计算技术研究所
IPC: H04L67/1097 , H04L1/00
Abstract: 本发明提出一种基于分布式存储的数据传输校验方法和系统,包括:将写入数据和该写入数据对应的原始校验码发送至数据服务器;该数据服务器将该写入数据存入存储设备,使用该原始校验码检查从该存储设备中读出的该写入数据的正确性。检查数据在整个操作路径中出现的错误,保证了数据操作的可靠性。以及将大粒度访问文件的校验码嵌入到文件数据块索引中,将小粒度访问文件的校验码嵌入到文件数据块中,以降低校验码操作带来的I/O开销。
-
公开(公告)号:CN112463044B
公开(公告)日:2022-07-12
申请号:CN202011318905.5
申请日:2020-11-23
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种保证分布式存储系统服务器端读尾延迟的方法及系统,包括通过应用负载特征建模对应用分为不可延后服务应用与可延后服务应用两类,对两类应用预分配资源。存储节点服务应用时,对不同类型的应用进行匹配,使匹配的应用组合共享服务速率。根据应用负载的变化动态地交换资源,以保证应用尾延迟SLO的应用准入控制方法。
-
公开(公告)号:CN108737293B
公开(公告)日:2021-06-22
申请号:CN201710244046.1
申请日:2017-04-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H04L12/875 , H04L29/08
Abstract: 本申请公开了一种处理请求的方法和装置,该方法包括:接收端接收第一请求和第二请求,其中,所述第一请求为第一发送端在第一发送时刻发送的请求,所述第二请求为所述第一发送端在第二发送时刻发送的请求,所述第一请求和所述第二请求为第一应用程序生成的不同的请求;所述接收端获取所述第一发送时刻和所述第二发送时刻;所述接收端根据所述第一发送时刻和所述第二发送时刻的时序处理所述第一请求和所述第二请求,其中,所述第一发送时刻和所述第二发送时刻的时序与所述第一请求和所述第二请求的处理顺序相同。从而可以减小同一个应用生成的不同请求的时延波动,增强计算机网络的稳定性。
-
-
-
-
-
-
-
-
-