-
公开(公告)号:CN112445660B
公开(公告)日:2022-09-13
申请号:CN201910801001.9
申请日:2019-08-28
Applicant: 无锡江南计算技术研究所
IPC: G06F11/22
Abstract: 本发明公开一种针对共享存储阵列性能均衡性问题的测试方法,基于以下模块:控制模块,用于配置均衡性测试端、均衡性测试分区、均衡性测试目录,还用于生成并发送均衡性测试场景命令、均衡性测试命令,还用于收集与汇总均衡性测试结果;测试模块,用于接收管理端的命令并执行,如生成均衡性测试场景,进行指定线程数、指定文件大小、指定块大小、指定顺序写/读、指定随机写/读的均衡性测试,记录并返回均衡性测试结果至控制模块。本发明既可准确测试判断存储设备在面向多个服务器时是否存在性能均衡性问题,也可以判断单一服务器上多个不同的LUN之间是否存在性能均衡性问题。
-
公开(公告)号:CN106709048B
公开(公告)日:2019-11-15
申请号:CN201710006054.2
申请日:2017-01-05
Applicant: 无锡江南计算技术研究所
IPC: G06F16/27
Abstract: 一种面向高性能计算的分布式数据组织方法,在接口层将数据访问和数据管理分离开来;在计算节点端,客户端仅向应用程序提供精简的数据访问接口,支持对应用完全透明的POSIX形式的文件访问操作。本发明针对高性能计算应用的数据存储需求,对POSIX文件系统访问语义进行了精简,解耦数据访问和数据管理,为应用程序提供高效、轻量级的编程接口;采用分布式对象存储技术进行数据组织,突破传统文件系统数据组织限制,实现更为高效的数据访问协议,进一步提升系统可扩展能力;提出基于内存的元数据管理方式,首次将高性能非关系键值数据库引入高性能计算机系统,利用其优良特性对外提供高效可扩展的元数据服务。
-
公开(公告)号:CN105302922A
公开(公告)日:2016-02-03
申请号:CN201510830352.4
申请日:2015-11-24
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F17/30088
Abstract: 本发明提供了一种分布式文件系统快照实现方法,包括:创建快照处理、恢复快照处理、以及删除快照处理。由一台磁盘快照服务器控制文件系统快照的创建和恢复,该磁盘快照服务器可以向分布式文件系统中的各输入输出节点下达指令进行快照操作,也存储着已创建的快照的信息,可以删除已经创建的文件系统快照。
-
公开(公告)号:CN102456048A
公开(公告)日:2012-05-16
申请号:CN201010527381.0
申请日:2010-10-28
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种海量数据处理方法及系统,其中,本发明公开的海量数据处理方法中,预先设定限额触发值和限额值,若数据存储设备的当前使用空间超过所述限额触发值、且达到所述限额值时,对所述存储设备执行文件处理操作,释放其存储空间,直至所述存储设备的当前使用空间小于所述限额值,再存储所述数据,解决了存储设备的存储空间届满时,无法存入数据的问题。
-
公开(公告)号:CN112565326B
公开(公告)日:2023-10-17
申请号:CN201910918615.5
申请日:2019-09-26
Applicant: 无锡江南计算技术研究所
IPC: H04L67/1097
Abstract: 本发明公开了一种面向分布式文件系统的RDMA通信地址交换方法,包括分布式文件系统的RDMA数据发送阶段和RDMA数据接收阶段,包括以下步骤:与远端建立连接时预交换若干个RDMA地址;根据文件操作的类型,将文件操作数据封装到本地的RDMA注册地址,生成RDMA消息;所述文件操作的类型包括打开操作open、关闭操作close、查找操作lookup、书写操作write和读取操作read;根据目前的远端RDMA地址使用情况为本次文件操作分配远端的RDMA地址;若RDMA空闲地址小于目前RDMA地址的一半,在生成的文件操作RDMA消息附带发送RDMA地址紧张报警信息让远端申请8个RDMA地址。本发明不会引发内存浪费、降低通信效率、消耗额外系统资源,减少了多余RDMA地址交换操作,提升了RDMA通信的整体效率。
-
公开(公告)号:CN114217733A
公开(公告)日:2022-03-22
申请号:CN202110479680.X
申请日:2021-04-30
Applicant: 无锡江南计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开一种面向IO转发系统的IO处理框架,包括以下作业粒度的IO调度单元,用于在IO转发节点上,根据作业的job ID将所有的IO请求进行分类;文件粒度的IO调度单元,用于将来自同一作业的IO请求按照文件进行分配,并以文件为单位进行调度;IO操作级别的IO调度单元,用于在IO请求调度过程中分析来自同一个文件的多个IO请求之间的依赖关系,并根据这些依赖关系,实现合并写IO请求和优化预读;还包括一动态资源调度单元,用于根据各个IO调度单元对IO请求的执行情况。本发明解决了高性能计算转发架构下的IO转发服务器的IO调度问题。
-
公开(公告)号:CN112559230A
公开(公告)日:2021-03-26
申请号:CN201910852581.4
申请日:2019-09-10
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开一种面向超大规模存储系统性能异常降级问题的自动鉴别方法,基于以下配置:故障总控模块,用于提供存储系统状态的整体视图,并通过查询故障数据库获取文件系统的故障信息,并发送到存储系统的总信息库;故障探测模块,用于判断当前存储系统是否有故障,如果没有故障,则返回状态正常,如果有故障,将当前存储设备的故障信息上报给驻留模块;设置于存储设备上的驻留模块,用于定时调用故障探测模块,对存储系统进行探测,并将接收自故障探测模块的故障信息规划后录入故障数据库,还用于将故障信息发送至故障总控模块。本发明实现了面向超大规模存储系统中性能降级设备的及时发现的报警,从而使大规模IO应用课题的存储性能得到保证。
-
公开(公告)号:CN112540954A
公开(公告)日:2021-03-23
申请号:CN201910897716.9
申请日:2019-09-23
Applicant: 无锡江南计算技术研究所
IPC: G06F16/11 , G06F16/13 , G06F16/172 , G06F16/185
Abstract: 本发明公开了一种以目录单位的多级存储构建与在线迁移方法,包括以下步骤:作业对存储进行读写IO操作请求;Transparent模块接收来自数据库的存储文件状态信息,此存储文件状态信息包括文件的位置、文件的读写状态、文件的迁移状态、文件的访问时间;以及发布待加速的目录;根据文件状态判断IO操作请求的文件数据对象是否在加速目录表中,去全局文件系统中读写文件数据对象;如果是,判断文件数据对象是否在透明缓存中,去透明缓存中读写文件数据对象;如果不是,去全局文件系统中读写文件数据对象,执行下一步;如果是读写存储于透明缓存的文件数据对象,读写后,进一步执行以下步骤。本发明满足高IO的性能要求,支持数据的在线迁移,以便于为用户提供更好的存储体验。
-
公开(公告)号:CN105512185B
公开(公告)日:2019-03-26
申请号:CN201510830806.8
申请日:2015-11-24
Applicant: 无锡江南计算技术研究所
IPC: G06F16/182 , G06F16/172
Abstract: 本发明提供了一种基于作业时序缓存共享的方法,包括:在JOB提交运行前,声明JOB运行过程中的需要的DFS Cache资源量;系统为各个JOB的作业分配相应的DFS Cache资源,并启动JOB作业运行;使得各个JOB作业运行多轮,其中JOB会产生多次对于DFS Cache的访问,使系统采集各个JOB作业访问DFS Cache的时间间隔;在JOB作业访问缓存资源的时间间隔趋于稳定的情况下,记录所述时间间隔,并且启动DFS Cache共享分配算法;在执行JOB作业时,由存储管理系统按照运行的所有JOB作业访问DFS Cache的情况对JOB作业的数据进行读写,如果存储管理系统确定存在JOB数据访问超过时间窗口,重新启动DFS Cache共享分配算法。
-
公开(公告)号:CN102938784A
公开(公告)日:2013-02-20
申请号:CN201210441176.1
申请日:2012-11-06
Applicant: 无锡江南计算技术研究所
IPC: H04L29/08
Abstract: 本发明提供了一种应用于分布式存储系统中的数据存储方法和系统,其中,确定待存储数据的数据类别;查找所述待存储数据的数据类别对应的预设的存储规则,所述预设的存储规则包括副本数目以及不同的存储位置信息;依据所述副本数目,生成所述待存储数据的数据副本;将所述数据副本分别存储到不同的存储位置信息对应的存储节点中。本发明实施例,通过对不同的数据类别生成不同数目的数据副本进行存储,从而既保证了存储数据的安全性、扩展性、可操作性等问题,又避免了对系统资源的占用,从而有效提高了存储系统的可靠性。
-
-
-
-
-
-
-
-
-