-
公开(公告)号:CN106547484A
公开(公告)日:2017-03-29
申请号:CN201610914581.9
申请日:2016-10-20
Applicant: 华中科技大学
CPC classification number: G06F3/0614 , G06F3/0631 , G06F3/0689 , G06F11/1469
Abstract: 本发明公开了一种基于RAID5的实现内存数据可靠性方法及系统,包括:在每台分布式存储服务器中划分一部分内存数据做缓存,然后构建RAID5;将经常访问的数据放到内存数据库中;除了存储基本数据还要存储额外的元数据信息,用于标识RAID5的条带信息;当所有存储服务器正常运行时,客户端直接从内存中读取数据;当发生单点故障时,客户端通过存储的元数据信息可以得到同一个条带的数据,在内存级别将数据恢复出来,提供的给用户,而不用去访问存取速度比内存低几个数量级的硬盘,从而提高了存储系统的可靠性;同时,通过构建RAID5,在达到可靠性的同时,降低了数据存储冗余度,从而节省成本。
-
公开(公告)号:CN103902474B
公开(公告)日:2017-02-08
申请号:CN201410145032.0
申请日:2014-04-11
Applicant: 华中科技大学
IPC: G06F12/0895 , G06F12/123
Abstract: 本发明提供了一种支持固态盘缓存动态分配的混合存储系统和方法,该方法用固态盘和磁盘构建混合存储系统,其中固态盘用作磁盘的缓存,本发明方法实时监控应用的负载特征及固态盘缓存命中率,并建立应用的性能模型,从而根据应用的性能需求和负载特征的变化动态地分配固态盘缓存空间。本发明提供的固态盘缓存管理方法可以根据应用的性能需求合理地分配固态盘缓存空间,实现应用级的缓存区分服务,并通过将应用的固态盘缓存空间进一步划分为读缓存和写缓存区间,减少脏数据块及其带来的页复制和垃圾回收开销,同时将空闲的固态盘缓存空间按照应用的缓存利用效率分配给应用,从而提高混合存储系统的固态盘缓存命中率和整体性能。
-
公开(公告)号:CN106202431A
公开(公告)日:2016-12-07
申请号:CN201610550098.7
申请日:2016-07-13
Applicant: 华中科技大学
IPC: G06F17/30
CPC classification number: G06F16/2471 , G06F16/217 , G06F16/285
Abstract: 本发明属于大数据处理技术领域,涉及一种基于机器学习的Hadoop参数的自动调优方法及系统。本发明根据不同应用程序的资源消耗特征聚类分组,并针对不同组应用建立不同的性能模型,自动得到对不同类应用影响较大的不同参数,并给出定量参数建议值。系统包括离线模块和在线模块,离线模块包括Hadoop数据收集器、聚类器和性能模型构建子模块;在线模块包括作业管理器、优化器、资源消耗特征匹配器和作业探查器。本发明有效解决了现有的基于经验规律的方法对用户经验的高依赖问题和定性参数建议的限制问题;同时本发明将参数优化系统和Hadoop系统分离,降低系统耦合度,减少人工开销,避免人为误判,并且便于系统扩展与维护。
-
公开(公告)号:CN105930234A
公开(公告)日:2016-09-07
申请号:CN201610351831.2
申请日:2016-05-25
Applicant: 华中科技大学
CPC classification number: G06F11/1446 , G06F16/125
Abstract: 本发明公开了一种基于溯源信息的数据重建系统及方法;其方法包括溯源收集、溯源查询、因子分析、重建执行和恢复过程;溯源收集通过监控系统调用并将获得的系统调用信息转换为溯源信息,存储在溯源数据库中;溯源查询则从溯源数据库中查询必要的溯源信息,为数据重建做准备;对拟重建的文件进行因子分析,判断拟重建的文件里否包括多余文件,并对多余文件进行删除、覆盖或重命名处理;根据溯源信息,获取重建序列,根据重建序列进行数据重建;恢复过程是重建之后,删除不必要的文件,并恢复较高版本的文件;本发明提供的系统及方法使用溯源数据来准确重建受损或丢失的文件,加强系统的可靠性。
-
公开(公告)号:CN103902260B
公开(公告)日:2016-08-31
申请号:CN201210570438.4
申请日:2012-12-25
Applicant: 华中科技大学
IPC: G06F9/44
Abstract: 本发明公开了一种对象文件系统的预取方法,包括:对对象文件系统的数据结构和变量进行初始化,判断服务器是否接收来自客户端的读对象请求,如果是则解析读对象请求,并根据读对象请求确定当前对象及其Oid,判断读对象请求是否命中缓存,如果没有则判断是否存在计时值大于或等于时间阈值T_MAX,如果不存在,则根据当前对象的Oid查询预取属性表,以获取当前对象的预取属性,并根据预取属性执行读磁盘和预取操作,根据全局访问顺序数组对预取属性表的单步预取信息进行修改,根据全局访问顺序数组对预取属性表的多步预取信息进行修改。本发明实现了预取范围自适应调节、预取准确率维持在设定阈值附近、单步预取和多步预取兼顾、以及资源占用可控。
-
公开(公告)号:CN103473150B
公开(公告)日:2016-08-31
申请号:CN201310383204.3
申请日:2013-08-28
Applicant: 华中科技大学
Abstract: 本发明公开了一种用于数据去重系统的碎片重写方法,其在数据去重中增加一个缓存作为重写感知缓存,该重写感知缓存中的数据项为数据块所引用的容器标识(Container ID),对判定为数据碎片的数据块,如果其引用的容器标识(Container ID)已存储在该重写感知缓存中,则此数据无需重写,否则重写该数据碎片。本发明的方法是在数据去重的过程中增加了一个与数据读时同样大小且缓存策略相同的缓存,避免了不必要的重复数据块的重写,克服了现有算法存在的缺陷。相比与现有的去碎片算法,一是改善了因数据碎片对读性能造成的影响,通过重写数据碎片来提高读性能;二是在提高读性能的同时保证了更少的去重率损失。
-
-
公开(公告)号:CN105468295A
公开(公告)日:2016-04-06
申请号:CN201510781188.2
申请日:2015-11-14
Applicant: 华中科技大学
CPC classification number: G06F3/062 , G06F3/0617 , G06F3/067 , G06F21/6218 , G06F2221/2141
Abstract: 本发明提供一种实现对象存储的安全防护访问方法,包括:客户端从认证服务器处获取访问证书,并将其和访问请求一起发送至至少三台元数据服务器;元数据服务器检查访问证书及访问请求的有效性后,根据访问请求类型进行处理并向客户端返回相应的元数据信息;客户端接收元数据信息后,向对象存储设备请求数据,对象存储设备收到请求后会对客户端进行验证,通过后会将数据发送给客户端。相应地本发明还提供了一种实现对象存储的安全防护访问系统。本发明通过设置多个不同系统的元数据服务器,在实现系统多样化的同时,增强了系统可靠性及数据存储访问的安全性,另外通过设置的认证服务器对客户端认证,增强了数据访问的安全性能。
-
公开(公告)号:CN103530201B
公开(公告)日:2016-03-02
申请号:CN201310301670.2
申请日:2013-07-17
Applicant: 华中科技大学
Abstract: 本发明公开了一种适用于备份系统的安全数据去重方法,包括:接收用户提交的备份请求,对需要备份的每个文件进行分块,以得到多个不同大小的数据块,使用哈希算法计算每个数据块的哈希值F1来作为数据块的加密密钥,再次使用哈希算法计算每个数据块哈希值F1的哈希值F2作为该数据块的指纹来识别重复数据块,并采用经典加密算法使用用户的私钥对数据块的哈希值F1进行加密以得到数据哈希值F1的密文E(F1)来保护数据块的加密密钥。将所有数据块指纹F2等顺序打包成指纹段发送传输到存储服务器。本发明中所有通信过程采用安全套接层协议。本发明通过采用该安全数据去重方法,能够保证在数据去重率不变的基础上,防止数据丢失、篡改等存储安全问题。
-
公开(公告)号:CN105242872A
公开(公告)日:2016-01-13
申请号:CN201410274162.4
申请日:2014-06-18
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明提供了一种面向虚拟集群的共享存储系统,属于计算机存储技术领域。该系统主体部分由通过网络互连的两台主机组成。主机主要包括用于组成共享存储空间的共享存储模块,若干虚拟机以及为虚拟机提供相关服务的虚拟机服务模块。虚拟机主要包括一个虚拟设备,在内核空间的设备驱动模块以及供应用程序调用的访问接口模块。本发明提供了一种新颖的分布式共享存储系统,它的独特之处在于为不同物理机上虚拟机的信息传递提供一种机制,从而使共享存储编程语义可以在云端的虚拟集群中得以实现。该发明为用户层提供一个用户态可编程的共享存储空间,既可以保证对共享存储读写效率,同时并没有干预客户机内核层和虚拟机监控层。
-
-
-
-
-
-
-
-
-