-
公开(公告)号:CN105068758A
公开(公告)日:2015-11-18
申请号:CN201510437855.5
申请日:2015-07-23
Applicant: 清华大学
Abstract: 本发明公开了一种面向并行数据采集的分布式文件系统数据I/O优化方法,由客户端、数据服务器程序、元数据服务器程序组成的分布式文件系统与数据采集设备、数据采集程序集成部署于同一套硬件系统之上,包括以下步骤:S1:对分布式文件系统进行配置;S2:对数据采集程序、客户端、数据服务器和元数据服务器进行初始化;S3:数据采集程序向客户端直接发起请求,并写入数据;以及S4:通过分布式系统中的任一客户端访问数据。本发明具有如下优点:在现有分布式文件系统的基础上,提出一种新的硬件拓扑结构,并辅以特殊的算法和数据结构,对并行数据采集的I/O性能进行了一系列的优化,并提供了良好的可拓展性。
-
公开(公告)号:CN104778126A
公开(公告)日:2015-07-15
申请号:CN201510187399.3
申请日:2015-04-20
Applicant: 清华大学
IPC: G06F12/02
Abstract: 本发明提出一种非易失性主存中事务数据存储优化方法,利用非易失性主存的数据保持时间与写入速度成负相关的性质,在非易失性主存中预存多组写入参数,从中选择两组,其中,第一组写入参数的数据保持时间长、写入速度慢,第二组写入参数的数据保持时间短、写入速度快,该方法判断要存储的事务数据的类型属于持久性数据还是日志;如果为持久性数据,则采用第一组写入参数进行存储;如果为日志,则采用第二组写入参数进行存储。本发明的方法既能够满足系统在发生故障时对一致性的要求,同时能够加速事务执行时对日志的操作,而且能够有效的延长非易失性内存的使用寿命。本发明还提供了一种非易失性主存中事务数据存储优化系统。
-
公开(公告)号:CN102685148B
公开(公告)日:2014-10-15
申请号:CN201210176807.1
申请日:2012-05-31
Applicant: 清华大学
Abstract: 在云存储环境下安全网盘系统的实现方法属于存储安全技术领域,其特征在于在云存储环境下的网盘系统的信任体系中,发明了一种系统架构,在服务器中根据用户需求建立信任域,然后利用公钥基础设施PKI进行身份认证,保证了用户的不可欺骗性和不可抵赖性;利用哈希算法对文件计算哈希值,利用密钥和对称加密算法AES算法对数据加密,之后再将文件密文上传到云存储区中的文件服务器,保证了数据的机密性和完整性;使用基于目录树的同步方式,提高了系统的同步效率与机密性;使用了层级密钥管理的方式,在保证数据安全性的同时减少了系统的管理负担;提供了版本控制功能,保证了文件版本的连续性;提供了多种粒度的加密密钥选择方式,增加了系统的灵活性。
-
公开(公告)号:CN103744961A
公开(公告)日:2014-04-23
申请号:CN201410005081.4
申请日:2014-01-06
Applicant: 清华大学
IPC: G06F17/30
CPC classification number: G06F17/30091 , G06F3/0616
Abstract: 用可重构的文件系统目录树提高非易失性存储寿命的方法属于文件系统领域。其特征在于,包括内存虚拟目录树,将文件系统目录树元数据的更新记录到内存,而无需写回持久目录树;通过嵌入式链接方法提供文件系统目录树的树形结构,即在被索引页面中嵌入索引链接信息的方式;通过持久元数据日志式写入方法提供的文件系统目录树的内容更新,即将多个元数据页面压缩并以日志形式写入的方式;以及故障恢复后的文件系统目录树的快速重构方法。根据本发明的实施例的方法,可有效缓解元数据写回操作造成的存储系统性能与寿命影响,并提供了文件系统目录树元数据的高速访问以及故障恢复后的快速重构。
-
公开(公告)号:CN103268291A
公开(公告)日:2013-08-28
申请号:CN201310195832.9
申请日:2013-05-23
Applicant: 清华大学
IPC: G06F12/02
Abstract: 本发明提出一种在闪存存储系统中延迟持久化索引元数据的方法,包括以下步骤:S1:闪存存储系统在写数据时生成数据的数据类型和反向索引,并将反向索引一同写入闪存;S2:根据数据、数据类型和反向索引建立内存正向索引,并使用待持久化索引列表标记未写入内存正向索引的数据;S3:通过更新窗口跟踪尚未建立正向索引的数据;以及S4:当闪存存储系统发生故障时,根据更新窗口的数据类型和反向索引重构正向索引以恢复闪存存储系统的故障。根据本发明实施例的方法,通过反向索引延迟了正向索引的持久化,减少了数据写操作的延迟,避免了用于被索引数据与索引元数据的事务操作开销,同时降低了更新窗口元数据持久化带来的竞争延迟。
-
公开(公告)号:CN102004677B
公开(公告)日:2012-07-25
申请号:CN201010531952.8
申请日:2010-11-04
Applicant: 清华大学
IPC: G06F11/00
Abstract: 海量数据分级存储评测系统属于计算机系统评测领域,尤其涉及其中分级存储系统评测领域。本发明的特征在于通过快照还原一个真实的文件系统场景,同时通过比较相邻两快照之间的差别确定后续将要被访问的文件;根据两快照间文件属性信息的不同和已有的文件访问特征对文件访问请求进行加密处理,从而提供一个真实的文件系统场景及相应的后续文件访问请求,并将文件访问请求在生成的文件系统场景上进行播放,模拟真实环境中分级存储系统的应用情况,最终有效的实现对分级存储系统的评测与分析。
-
公开(公告)号:CN101159556B
公开(公告)日:2011-01-26
申请号:CN200710177068.7
申请日:2007-11-09
Applicant: 清华大学
Abstract: 基于组密钥服务器的共享加密文件系统中的密钥管理方法属于存储安全领域,其特征在于:组密钥服务器处理系统中的各种密钥管理请求,并实施严格的用户身份认证和访问权限检查,客户端通过向组密钥管理器发送请求进行密钥操作;采用扩展访问控制列表的组织密钥信息,包括文件密钥,用户ID和访问权限,组密钥服务器使用自己的秘密密钥保护其机密性和完整性;客户端实现了密钥缓存功能,减少了与组密钥服务器的通信次数;系统采用了延迟加密技术实现密钥撤消,将重新加密文件的时机推迟到文件内容更新时,最大限度地降低了密钥撤消操作对系统性能的影响。
-
-
公开(公告)号:CN100583099C
公开(公告)日:2010-01-20
申请号:CN200810055895.3
申请日:2008-01-11
Applicant: 清华大学
Abstract: 文件系统访问记录的动态采集方法属于存储系统的测试和性能分析领域,其特征在于:无需卸载旧文件系统即可加载内核模块,因此无需打断正在运行的应用。文件系统操作拦截模块能够动态地拦截底层文件系统操作,将其替换成拦截模块中对应的函数。这些函数在执行底层文件系统操作的同时输出操作的类型和参数到访问记录输出模块。该模块将文件记录压缩,然后采用带缓存的记录输出,将多次操作的信息一次输出。访问记录输出模块控制输出文件的大小,防止文件过大带来的读写困难和超过文件系统限制等问题。访问记录文件管理模块搜集附加信息,并按照用户的指定打包和传输访问记录,方便用户的管理。测试表明访问记录的采集对于应用的影响很小。
-
公开(公告)号:CN101349979A
公开(公告)日:2009-01-21
申请号:CN200810119676.7
申请日:2008-09-05
Applicant: 清华大学
Abstract: 大规模容错磁盘阵列存储系统的双磁头用户数据更新方法属于容错磁盘阵列存储系统技术领域,其特征在于,在一个由磁盘阵列、存储适配器、存储有存储操作系统的内存和处理器共同组成的基于纠删码的容错磁盘阵列存储系统中,先利用读操作从磁盘上读出旧的用户数据块,并在磁盘上用新的用户数据块覆盖旧的用户数据块,同时,利用异或运算求出新、旧两个用户数据块的差分值,再根据所采用的纠删码中各个校验数据块关于用户数据块的乘积系数计算出各个校验数据块的更新差分值,最后利用双磁头磁盘驱动器结构磁盘中基于位级别流水线技术的复合操作完成各个校验数据块的更新操作。实验表明,本发明显著地减少了I/O操作个数,缩短了I/O平均响应时间。
-
-
-
-
-
-
-
-
-