一种存储系统的性能分析方法及装置

    公开(公告)号:CN102932464A

    公开(公告)日:2013-02-13

    申请号:CN201210441466.6

    申请日:2012-11-06

    Abstract: 本申请提供了一种存储系统的性能分析方法,包括:解析用户发送的捕捉指令中的代码标识;依据所述捕捉指令触发与所述代码标识相对应的预设跟踪程序代码对所述存储系统的性能数据进行获取;应用所述性能数据对存储系统的性能进行分析。与所述分析方法相对应,本申请还提供了一种存储系统的性能分析系统。本申请提供的存储系统的性能分析方法及系统,通过在存储系统中植入跟踪程序代码,直接对存储系统中各个运行的I/O模块的运行数据进行获取,通过获取的运行数据对存储系统的性能进行分析,使得分析效率更高,更加直接准确。

    元数据的处理方法,代理、转发设备,服务器及计算系统

    公开(公告)号:CN102929958A

    公开(公告)日:2013-02-13

    申请号:CN201210381995.1

    申请日:2012-10-10

    Abstract: 元数据的处理方法,代理、转发设备,服务器及计算系统。本发明公开了一种元数据的处理方法,包括:从元数据服务器获取多个文件的元数据信息;接收输入输出IO转发设备发送的元数据请求,所述元数据请求中携带要执行操作的文件路径信息;根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识;当查找到所述数据对象标识时,向所述IO转发设备返回所述数据对象标识,以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象,进而使计算节点设备完成对所述数据对象的文件数据操作。本发明实施例通过元数据代理设备来完成元数据的处理,减轻了元数据服务器的负载,降低了元数据集群的复杂性,提高了元数据处理的灵活性。

    一种面向IO转发系统的IO处理框架及IO请求处理方法

    公开(公告)号:CN114217733B

    公开(公告)日:2023-10-13

    申请号:CN202110479680.X

    申请日:2021-04-30

    Abstract: 本发明公开一种面向IO转发系统的IO处理框架,包括以下作业粒度的IO调度单元,用于在IO转发节点上,根据作业的job ID将所有的IO请求进行分类;文件粒度的IO调度单元,用于将来自同一作业的IO请求按照文件进行分配,并以文件为单位进行调度;IO操作级别的IO调度单元,用于在IO请求调度过程中分析来自同一个文件的多个IO请求之间的依赖关系,并根据这些依赖关系,实现合并写IO请求和优化预读;还包括一动态资源调度单元,用于根据各个IO调度单元对IO请求的执行情况。本发明解决了高性能计算转发架构下的IO转发服务器的IO调度问题。

    基于动态IO感知的超大规模应用外存访问特征获取方法

    公开(公告)号:CN112558858B

    公开(公告)日:2022-11-15

    申请号:CN201910852999.5

    申请日:2019-09-10

    Abstract: 本发明公开一种基于动态IO感知的超大规模应用外存访问特征获取方法,包括以下步骤:在应用程序中,调用数据操作请求;将数据操作请求中所有的IO调用请求,通过虚拟文件系统模块提交到用户空间文件系统;用户空间文件系统将接收到的IO调用请求投递到用户空间,IO负载监控模块对IO调用请求进行解析,获得此IO调用请求的目标操作地址,并判断该目标操作地址是否位于应用程序所操作的目录下;客户端将IO调用请求传送到服务端;IO负载监控模块收集并记录在课题从开始到结束完整周期内的IO操作信息。本发明采用与目录相关的采集数据集,与应用的代码开发无关,不影响应用的运行,不影响操作系统内核的稳定运行,可缩短应用的运行时间,提高高性能计算机的运行效率。

    以目录单位的多级存储构建与在线迁移方法

    公开(公告)号:CN112540954B

    公开(公告)日:2022-07-12

    申请号:CN201910897716.9

    申请日:2019-09-23

    Abstract: 本发明公开了一种以目录单位的多级存储构建与在线迁移方法,包括以下步骤:作业对存储进行读写IO操作请求;Transparent模块接收来自数据库的存储文件状态信息,此存储文件状态信息包括文件的位置、文件的读写状态、文件的迁移状态、文件的访问时间;以及发布待加速的目录;根据文件状态判断IO操作请求的文件数据对象是否在加速目录表中,去全局文件系统中读写文件数据对象;如果是,判断文件数据对象是否在透明缓存中,去透明缓存中读写文件数据对象;如果不是,去全局文件系统中读写文件数据对象,执行下一步;如果是读写存储于透明缓存的文件数据对象,读写后,进一步执行以下步骤。本发明满足高IO的性能要求,支持数据的在线迁移,以便于为用户提供更好的存储体验。

    一种分布式存储系统数据管理方法

    公开(公告)号:CN114217734A

    公开(公告)日:2022-03-22

    申请号:CN202110480186.5

    申请日:2021-04-30

    Abstract: 本发明公开一种分布式存储系统数据管理方法,包括及时任务模式、定时任务模式和策略模式,所述策略模式下的数据管理方法包括以下步骤:S31、发起数据管理请求;S32、接收到数据管理请求;S33、将数据管理请求分发到组成存储系统的每一个服务器上;S34、每台服务器将数据管理请求记录到待执行队列中;S35、服务器上设置定时的状态收集信息库,根据状态信息库提供的状态信息,执行具体操作;S36、如果在最大时限内没有满足条件的时刻,那么在最大时限到达后,根据数据管理请求执行操作;S37、等待所有服务器执行完成。本发明可以降低在线业务与数据管理之间的冲突,保证在线业务的时效性,同时保证数据管理的可靠性。

    针对高性能计算的动态的存储资源划分方法

    公开(公告)号:CN112433840A

    公开(公告)日:2021-03-02

    申请号:CN201910789241.1

    申请日:2019-08-26

    Abstract: 本发明公开一种针对高性能计算的动态的存储资源划分方法,基于以下模块:用户模块,Project配置模块,为每个作业创建project标识符、配置project标识符的属性,并保存到数据库,还用于从数据库取出project配置信息,提供给作业管理系统;启停文件系统模块,向数据库调取对应的project的属性信息并打包成消息发送给作业管理系统,服务监控模块,监控I/O转发节点的I/O代理转发系统服务是否正常,并更新到数据库;数据库接口模块,作业管理系统,根据作业的project标识符,调用存储调度系统提供的文件系统启停模块,将来自文件系统启停模块的消息分发到所有计算节点。本发明使得计算资源与I/O代理资源之间比例不再固定,动态的为其分配存储资源,使存储资源的使用更加灵活高效。

    一种异步的RDMA通信内存动态管理方法及系统

    公开(公告)号:CN109194721A

    公开(公告)日:2019-01-11

    申请号:CN201810930179.9

    申请日:2018-08-15

    Abstract: 本发明公开一种异步的RDMA通信内存动态管理方法及系统,该方法包括:预注册内存管理模块实时监控网络通信传输模块对于RDMA预注册内存的使用情况;预注册内存管理模块根据监控结果,动态的申请和释放RDMA预注册内存空间。本发明可根据需要动态的申请和释放RDMA预注册内存空间,克服了传统RDMA通信机制中需要预先静态注册地址空间的缺点,不仅有效降低了所消耗的内存,而且还提升了内存注册的性能,提高了网络通信的效率。

    一种分布式文件系统快照实现方法

    公开(公告)号:CN105302922B

    公开(公告)日:2018-07-06

    申请号:CN201510830352.4

    申请日:2015-11-24

    Abstract: 本发明提供了一种分布式文件系统快照实现方法,包括:创建快照处理、恢复快照处理、以及删除快照处理。由一台磁盘快照服务器控制文件系统快照的创建和恢复,该磁盘快照服务器可以向分布式文件系统中的各输入输出节点下达指令进行快照操作,也存储着已创建的快照的信息,可以删除已经创建的文件系统快照。

    支持多作业并行IO性能隔离的文件系统管理方法

    公开(公告)号:CN112433983B

    公开(公告)日:2022-07-12

    申请号:CN201910789086.3

    申请日:2019-08-26

    Abstract: 本发明公开了一种支持多作业并行IO性能隔离的文件系统管理方法,包括以下配置:文件资源池的定义:包括:服务数量列表、每个服务器上存储空间配额、静态信息以及每个服务器上该资源池可以使用最大存储性能;文件资源池的分配:并行文件系统提供文件资源池的分配接口,文件资源池请求中包含申请的资源池最大性能、资源池的IO使用方式、包含的数据服务器数量、分配的最大空间;文件资源池的释放:并行文件系统提供文件资源池的释放接口,用户或管理员通过该释放接口完成文件资源池内资源的释放;资源池内负载统计:文件资源池内的数据服务器的负载的评定是通过监控文件的生命周期实现。本发明文件系统管理方法缓解并行I/O过程中进程之间的性能不均衡,提高并行IO性能。

Patent Agency Ranking