-
公开(公告)号:CN100517335C
公开(公告)日:2009-07-22
申请号:CN200710167900.5
申请日:2007-10-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种分布式文件系统的文件写入系统和方法,可以在存储服务器需要为目标文件分配数据块时,直接利用缓存中的预分配信息来分配数据块。当多个客户端进程同时为各自的文件分配数据块时,存储服务器端可以发挥出块预分配机制的好处,从而保证各个目标文件数据在磁盘上可以尽量连续存放,避免交错。本发明可以解决多个客户端进程同时为各自的文件分配数据块时,存储服务器为多个目标文件分配的数据块交错分布,每个文件的数据块在磁盘分布不连续的问题。
-
公开(公告)号:CN101382955B
公开(公告)日:2011-01-12
申请号:CN200810223488.9
申请日:2008-09-28
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种机群文件系统中文件读取的方法和系统,方法包括:步骤1,客户端将来自VFS层的单个预读请求或来自VFS层的访问粒度大于预设值的单个文件读请求拆分为至少两个拆分读请求;步骤2,客户端将每个拆分读请求封装到一个读请求消息中,将所有读请求消息发送给存储服务器;步骤3,存储服务器接收所有读请求消息,按顺序处理一个读请求消息,获取位置信息,读取位置信息指定的数据,通过应答消息将数据发送给客户端;重复执行步骤3,直到所有读请求所访问的数据都被读取;步骤4,客户端接收应答消息,将其中数据返回给VFS层。从而,使存储服务器端的磁盘I/O和网络数据传输可并行工作,缩短请求的总处理时间,提升吞吐率。
-
公开(公告)号:CN100530195C
公开(公告)日:2009-08-19
申请号:CN200710176353.7
申请日:2007-10-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种分布式文件系统的文件读系统和方法。该系统包括存储服务器端和多个客户端,所述服务器端包括预读描述符表模块和读请求处理模块,其中:所述预读描述符表模块,用于为来自所述客户端的多个前端负载缓存预读描述符信息,通过表结构缓存所有的预读描述符信息;所述读请求处理模块,用于根据客户端的文件读请求获取前端负载信息,用前端负载信息在缓存描述符表查找所述预读描述符,获得预读描述符的地址,完成对目标文件的读操作。其效果是提升多客户端进程同时读取同一文件时的聚合性能。
-
公开(公告)号:CN101377788A
公开(公告)日:2009-03-04
申请号:CN200810223489.3
申请日:2008-09-28
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种机群文件系统中缓存管理的方法及系统,方法包括客户端接收应用层的文件访问请求,将文件访问请求封装到读请求消息中,还包括:步骤1,客户端识别读请求对应的访问模式信息;步骤2,客户端将访问模式信息封装到所述读请求消息中,将该读请求消息发送给存储服务器;步骤3,存储服务器接收读请求消息,从所述存储服务器的磁盘读取读请求消息要从所述存储服务器访问的数据,通过应答消息将该数据发送给客户端;步骤4,存储服务器从读请求消息中解析出访问模式信息,根据访问模式信息管理读请求消息所访问的数据在服务器端内存中的缓存。从而,提高存储服务器端缓存命中率,并避免顺序预取数据在各级内存中重复缓存。
-
公开(公告)号:CN101388824A
公开(公告)日:2009-03-18
申请号:CN200810224093.0
申请日:2008-10-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及机群系统中分片存储模式下文件读取的方法和系统,方法包括:步骤1,客户端将读请求所访问的数据的位置信息和预读状态信息封装到读请求消息中,发送给存储所述数据的存储服务器;步骤2,存储服务器根据读请求消息中位置信息和获得的存储布局信息确定被访问的数据在分片中的位置,依据读请求消息中预读状态信息完成预取操作,如果被访问的数据的结束位置为分片的结束位置,则停止预取操作;将读取的被访问的数据发送给客户端;步骤3,客户端将获得的所述被访问的数据返回给所述应用层。本发明能够使机群文件系统中,分片存储模式下,附属于同一客户端负载的多个存储服务器上相关预取操作能够协调、统一处理。
-
公开(公告)号:CN101388824B
公开(公告)日:2011-02-16
申请号:CN200810224093.0
申请日:2008-10-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及机群系统中分片存储模式下文件读取的方法和系统,方法包括:步骤1,客户端将读请求所访问的数据的位置信息和预读状态信息封装到读请求消息中,发送给存储所述数据的存储服务器;步骤2,存储服务器根据读请求消息中位置信息和获得的存储布局信息确定被访问的数据在分片中的位置,依据读请求消息中预读状态信息完成预取操作,如果被访问的数据的结束位置为分片的结束位置,则停止预取操作;将读取的被访问的数据发送给客户端;步骤3,客户端将获得的所述被访问的数据返回给所述应用层。本发明能够使机群文件系统中,分片存储模式下,附属于同一客户端负载的多个存储服务器上相关预取操作能够协调、统一处理。
-
公开(公告)号:CN101382955A
公开(公告)日:2009-03-11
申请号:CN200810223488.9
申请日:2008-09-28
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种机群文件系统中文件读取的方法和系统,方法包括:步骤1,客户端将来自VFS层的单个预读请求或来自VFS层的访问粒度大于预设值的单个文件读请求拆分为至少两个拆分读请求;步骤2,客户端将每个拆分读请求封装到一个读请求消息中,将所有读请求消息发送给存储服务器;步骤3,存储服务器接收所有读请求消息,按顺序处理一个读请求消息,获取位置信息,读取位置信息指定的数据,通过应答消息将数据发送给客户端;重复执行步骤3,直到所有读请求所访问的数据都被读取;步骤4,客户端接收应答消息,将其中数据返回给VFS层。从而,使存储服务器端的磁盘I/O和网络数据传输可并行工作,缩短请求的总处理时间,提升吞吐率。
-
公开(公告)号:CN101377788B
公开(公告)日:2011-03-23
申请号:CN200810223489.3
申请日:2008-09-28
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种机群文件系统中缓存管理的方法及系统,方法包括客户端接收应用层的文件访问请求,将文件访问请求封装到读请求消息中,还包括:步骤1,客户端识别读请求对应的访问模式信息;步骤2,客户端将访问模式信息封装到所述读请求消息中,将该读请求消息发送给存储服务器;步骤3,存储服务器接收读请求消息,从所述存储服务器的磁盘读取读请求消息要从所述存储服务器访问的数据,通过应答消息将该数据发送给客户端;步骤4,存储服务器从读请求消息中解析出访问模式信息,根据访问模式信息管理读请求消息所访问的数据在服务器端内存中的缓存。从而,提高存储服务器端缓存命中率,并避免顺序预取数据在各级内存中重复缓存。
-
公开(公告)号:CN101158965A
公开(公告)日:2008-04-09
申请号:CN200710176353.7
申请日:2007-10-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种分布式文件系统的文件读系统和方法。该系统包括存储服务器端和多个客户端,所述服务器端包括预读描述符表模块和读请求处理模块,其中:所述预读描述符表模块,用于为来自所述客户端的多个前端负载缓存预读描述符信息,通过表结构缓存所有的预读描述符信息;所述读请求处理模块,用于根据客户端的文件读请求获取前端负载信息,用前端负载信息在缓存描述符表查找所述预读描述符,获得预读描述符的地址,完成对目标文件的读操作。其效果是提升多客户端进程同时读取同一文件时的聚合性能。
-
公开(公告)号:CN101149755A
公开(公告)日:2008-03-26
申请号:CN200710167900.5
申请日:2007-10-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种分布式文件系统的文件写入系统和方法,可以在存储服务器需要为目标文件分配数据块时,直接利用缓存中的预分配信息来分配数据块。当多个客户端进程同时为各自的文件分配数据块时,存储服务器端可以发挥出块预分配机制的好处,从而保证各个目标文件数据在磁盘上可以尽量连续存放,避免交错。本发明可以解决多个客户端进程同时为各自的文件分配数据块时,存储服务器为多个目标文件分配的数据块交错分布,每个文件的数据块在磁盘分布不连续的问题。
-
-
-
-
-
-
-
-
-