-
公开(公告)号：CN102364474B
公开(公告)日：2014-08-20
申请号：CN201110366559.2
申请日：2011-11-17
Applicant: 中国科学院计算技术研究所 , 华为技术有限公司
IPC: G06F17/30
CPC classification number: G06F17/30091 , G06F17/30218 , G06F17/30224
Abstract: 本发明提供用于机群文件系统中的元数据存储系统和管理方法。其中，用DRAM+SSD+HDD三层架构来存储机群文件系统的元数据，将元数据按照写入的时间依次顺序写入DRAM中的元数据缓冲区中。当一个元数据缓冲区被写满后，将其顺序写回到SSD上以形成一个新的元数据存储单元，同时将其头结构中对应的元数据索引信息以元数据索引单元的形式保存在DRAM中。采用基于追加写方式保存元数据后，可以有效提高机群文件系统元数据操作的性能。另外，还提供了基于访问热度的数据迁移策略，将更多经常访问的元数据留在SSD上，提高了元数据读操作的性能。
-
公开(公告)号：CN103970484A
公开(公告)日：2014-08-06
申请号：CN201310047163.0
申请日：2013-02-06
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06
CPC classification number: G06F11/2069 , G06F11/1471
Abstract: 本发明实施例提供一种数据存储控制方法、装置及系统，其中数据存储控制方法包括将目标数据写入第一存储器和第二存储器，所述第一存储器和所述第二存储器属于存储器组，所述存储器组中包括至少两个存储器；在所述存储器组中存在剩余存储空间小于或等于门限值的存储器时，将所述目标数据同步到所述第一存储器的镜像存储器中，第一存储器的镜像存储器属于与所述存储器组互为镜像的存储器组；将所述第二存储器中的所述目标数据标记为无效，从而完成了目标数据的日志过程和同步过程，由于不需要单独设置日志盘存储目标数据，使得数据存储控制系统的性能不再受到日志盘性能的影响，有效地提高了数据存储控制系统的性能。
-
公开(公告)号：CN101996250B
公开(公告)日：2012-07-25
申请号：CN201010546473.3
申请日：2010-11-15
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种基于Hadoop的海量流数据存储和查询方法及系统。所述方法，包括下列步骤：构建段级列簇式存储结构：将流数据依次存储为列簇记录，并对列簇记录从前往后进行压缩得到压缩数据页，将该压缩数据页写到一个列簇数据，同时将该压缩数据页的页面概要信息追加写入到列簇数据的尾端，得到完整的数据段；在查询语句执行的过程中，根据过滤条件，利用存储在数据段尾端的所述页面概要信息构建出一张扫描表对数据进行快速过滤。
-
公开(公告)号：CN101377788B
公开(公告)日：2011-03-23
申请号：CN200810223489.3
申请日：2008-09-28
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种机群文件系统中缓存管理的方法及系统，方法包括客户端接收应用层的文件访问请求，将文件访问请求封装到读请求消息中，还包括：步骤1，客户端识别读请求对应的访问模式信息；步骤2，客户端将访问模式信息封装到所述读请求消息中，将该读请求消息发送给存储服务器；步骤3，存储服务器接收读请求消息，从所述存储服务器的磁盘读取读请求消息要从所述存储服务器访问的数据，通过应答消息将该数据发送给客户端；步骤4，存储服务器从读请求消息中解析出访问模式信息，根据访问模式信息管理读请求消息所访问的数据在服务器端内存中的缓存。从而，提高存储服务器端缓存命中率，并避免顺序预取数据在各级内存中重复缓存。
-
公开(公告)号：CN101354726A
公开(公告)日：2009-01-28
申请号：CN200810222479.8
申请日：2008-09-17
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开一种机群文件系统的元数据的管理方法，其中，所述文件系统划分为多个元数据分区，每个所述元数据分区划分为多个维护元数据单元信息的元数据块，所述方法包括：客户端解析所产生的元数据请求，获取所述元数据所属的元数据分区，向所述元数据分区对应的元数据服务器发出请求；所述元数据服务器根据所接收的所述元数据请求中的类型值，确定所述请求的类型；所述元数据服务器根据所述请求的类型，查询元数据块所在的数据结构，对元数据进行增加、定位或者修改处理。本发明采用将元数据全部驻留内存的方式来提高元数据处理能力，根据内存访问特点对元数据组织管理，能够高效利用内存空间，提高元数据处理性能。
-
Patent Agency Ranking
公开(公告)号：CN101247417A
公开(公告)日：2008-08-20
申请号：CN200810101521.0
申请日：2008-03-07
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及计算机存储系统体系结构领域，公开了一种双层元数据处理系统及方法。在本发明中，通过在元数据服务器中设置元数据处理服务器模块和元数据对象存储服务器模块，将对元数据进行的读取和修改操作请求进行了合理的分流，使得不同类型的元数据操作请求在不同的层次上进行处理，从而能够针对元数据操作请求的类型进行优化，同时，在处理读取元数据的操作请求时，可以根据请求创建多个元数据复本，以平衡对读取元数据操作的访问负载。
-
公开(公告)号：CN101158965A
公开(公告)日：2008-04-09
申请号：CN200710176353.7
申请日：2007-10-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种分布式文件系统的文件读系统和方法。该系统包括存储服务器端和多个客户端，所述服务器端包括预读描述符表模块和读请求处理模块，其中：所述预读描述符表模块，用于为来自所述客户端的多个前端负载缓存预读描述符信息，通过表结构缓存所有的预读描述符信息；所述读请求处理模块，用于根据客户端的文件读请求获取前端负载信息，用前端负载信息在缓存描述符表查找所述预读描述符，获得预读描述符的地址，完成对目标文件的读操作。其效果是提升多客户端进程同时读取同一文件时的聚合性能。
-
公开(公告)号：CN101149755A
公开(公告)日：2008-03-26
申请号：CN200710167900.5
申请日：2007-10-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种分布式文件系统的文件写入系统和方法，可以在存储服务器需要为目标文件分配数据块时，直接利用缓存中的预分配信息来分配数据块。当多个客户端进程同时为各自的文件分配数据块时，存储服务器端可以发挥出块预分配机制的好处，从而保证各个目标文件数据在磁盘上可以尽量连续存放，避免交错。本发明可以解决多个客户端进程同时为各自的文件分配数据块时，存储服务器为多个目标文件分配的数据块交错分布，每个文件的数据块在磁盘分布不连续的问题。
-
公开(公告)号：CN1904889A
公开(公告)日：2007-01-31
申请号：CN200610089249.X
申请日：2006-08-11
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种用附着属性存储逻辑文件系统元数据的方法，将逻辑文件系统的元数据以本地文件系统文件属性的方式存储在本地文件系统上，包括：创建逻辑文件系统的文件或者目录；删除一个文件或者目录；修改逻辑文件系统属性；对逻辑文件系统上的文件或目录改名；查询逻辑文件系统上的一个文件或者目录的元数据信息。利用本发明的方法，逻辑文件系统可以直接利用本地文件系统的元数据处理功能，继承本地文件系统的稳定性和性能特色，并且这种方法有着实现简便，适应性强的优点。
-
公开(公告)号：CN1878147A
公开(公告)日：2006-12-13
申请号：CN200610089538.X
申请日：2006-06-30
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种平衡网络文件系统服务器多网卡间负载的方法，包括：网络文件系统服务器为每个网卡配置网络地址；在多个网卡中选择一个主网卡，为每个网卡创建套接字；将网卡与套接字结构绑定在一起；网络文件系统客户端获取服务器以太网地址；客户端从获取的服务器多块网卡地址中以轮循选择的方式选择一个网络地址发送文件访问请求；服务器端接受到请求后交由网络文件系统服务进程进行处理，将处理结果通过接受请求的网卡发送给客户端。本发明充分利用了服务器网络带宽资源，提高了文件访问吞吐率。
-
-
-
-
-
-
-
-
-
Search Results
147
records
(took 0.047 seconds)
