一种分布式存储系统的内存池管理方法

    公开(公告)号:CN114244857A

    公开(公告)日:2022-03-25

    申请号:CN202110387038.9

    申请日:2021-04-12

    Abstract: 本发明公开一种分布式存储系统的内存池管理方法,包括以下步骤:S1、分布式存储系统初始化开始,打开网卡设备;S2、分配内存,注册分布式存储系统内存池,记录内存池的首地址和内存大小;S3、将分布式存储系统内存池的首地址作为输入参数,注册网卡内存池,并将网卡内存池按分布式存储系统数据块大小组织并记录偏移,返回网卡句柄号;S4、分布式存储系统初始化结束。本发明可以在读写数据场景下分别消除分布式存储内存池到网卡内存池和网卡内存池到分布式存储内存池的内存拷贝,进一步降低上下文切换等开销,提升分布式存储系统的数据传输性能。

    面向超大规模系统的多文件系统元数据统一缓存管理方法

    公开(公告)号:CN112445768A

    公开(公告)日:2021-03-05

    申请号:CN201910794731.0

    申请日:2019-08-27

    Abstract: 本发明公开一种面向超大规模系统的多文件系统元数据统一缓存管理方法,基于以下模块:若干个分布式文件系统,分别配置于分布式文件系统环境中IO节点上的驻留收集模块,用于监测文件系统元数据信息的变化,并将获取的元数据信息传输至后台数据库;后台数据库,用于接收和存储来自驻留收集模块的元数据信息;配置于管理节点上的总控处理模块,用于查询后台数据库,获取元数据的信息,并通过元数据信息的变更来检索和查找、定位的文件数据;本发明可以针对不同分布式文件系统来实现元数据的收集与管理,更方便的通过元数据的信息来有效地监控文件系统的运行状况。

    针对共享存储阵列性能均衡性问题的测试方法

    公开(公告)号:CN112445660A

    公开(公告)日:2021-03-05

    申请号:CN201910801001.9

    申请日:2019-08-28

    Abstract: 本发明公开一种针对共享存储阵列性能均衡性问题的测试方法,基于以下模块:控制模块,用于配置均衡性测试端、均衡性测试分区、均衡性测试目录,还用于生成并发送均衡性测试场景命令、均衡性测试命令,还用于收集与汇总均衡性测试结果;测试模块,用于接收管理端的命令并执行,如生成均衡性测试场景,进行指定线程数、指定文件大小、指定块大小、指定顺序写/读、指定随机写/读的均衡性测试,记录并返回均衡性测试结果至控制模块。本发明既可准确测试判断存储设备在面向多个服务器时是否存在性能均衡性问题,也可以判断单一服务器上多个不同的LUN之间是否存在性能均衡性问题。

    一种存储系统的性能分析方法及装置

    公开(公告)号:CN102932464B

    公开(公告)日:2015-10-07

    申请号:CN201210441466.6

    申请日:2012-11-06

    Abstract: 本申请提供了一种存储系统的性能分析方法,包括:解析用户发送的捕捉指令中的代码标识;依据所述捕捉指令触发与所述代码标识相对应的预设跟踪程序代码对所述存储系统的性能数据进行获取;应用所述性能数据对存储系统的性能进行分析。与所述分析方法相对应,本申请还提供了一种存储系统的性能分析系统。本申请提供的存储系统的性能分析方法及系统,通过在存储系统中植入跟踪程序代码,直接对存储系统中各个运行的I/O模块的运行数据进行获取,通过获取的运行数据对存储系统的性能进行分析,使得分析效率更高,更加直接准确。

    一种分布式存储系统数据管理方法

    公开(公告)号:CN114217734B

    公开(公告)日:2023-10-27

    申请号:CN202110480186.5

    申请日:2021-04-30

    Abstract: 本发明公开一种分布式存储系统数据管理方法,包括及时任务模式、定时任务模式和策略模式,所述策略模式下的数据管理方法包括以下步骤:S31、发起数据管理请求;S32、接收到数据管理请求;S33、将数据管理请求分发到组成存储系统的每一个服务器上;S34、每台服务器将数据管理请求记录到待执行队列中;S35、服务器上设置定时的状态收集信息库,根据状态信息库提供的状态信息,执行具体操作;S36、如果在最大时限内没有满足条件的时刻,那么在最大时限到达后,根据数据管理请求执行操作;S37、等待所有服务器执行完成。本发明可以降低在线业务与数据管理之间的冲突,保证在线业务的时效性,同时保证数据管理的可靠性。

    面向分布式文件系统的RDMA通信地址交换方法

    公开(公告)号:CN112565326A

    公开(公告)日:2021-03-26

    申请号:CN201910918615.5

    申请日:2019-09-26

    Abstract: 本发明公开了一种面向分布式文件系统的RDMA通信地址交换方法,包括分布式文件系统的RDMA数据发送阶段和RDMA数据接收阶段,包括以下步骤:与远端建立连接时预交换若干个RDMA地址;根据文件操作的类型,将文件操作数据封装到本地的RDMA注册地址,生成RDMA消息;所述文件操作的类型包括打开操作open、关闭操作close、查找操作lookup、书写操作write和读取操作read;根据目前的远端RDMA地址使用情况为本次文件操作分配远端的RDMA地址;若RDMA空闲地址小于目前RDMA地址的一半,在生成的文件操作RDMA消息附带发送RDMA地址紧张报警信息让远端申请8个RDMA地址。本发明不会引发内存浪费、降低通信效率、消耗额外系统资源,减少了多余RDMA地址交换操作,提升了RDMA通信的整体效率。

    基于动态IO感知的超大规模应用外存访问特征获取方法

    公开(公告)号:CN112558858A

    公开(公告)日:2021-03-26

    申请号:CN201910852999.5

    申请日:2019-09-10

    Abstract: 本发明公开一种基于动态IO感知的超大规模应用外存访问特征获取方法,包括以下步骤:在应用程序中,调用数据操作请求;将数据操作请求中所有的IO调用请求,通过虚拟文件系统模块提交到用户空间文件系统;用户空间文件系统将接收到的IO调用请求投递到用户空间,IO负载监控模块对IO调用请求进行解析,获得此IO调用请求的目标操作地址,并判断该目标操作地址是否位于应用程序所操作的目录下;客户端将IO调用请求传送到服务端;IO负载监控模块收集并记录在课题从开始到结束完整周期内的IO操作信息。本发明采用与目录相关的采集数据集,与应用的代码开发无关,不影响应用的运行,不影响操作系统内核的稳定运行,可缩短应用的运行时间,提高高性能计算机的运行效率。

    支持多作业并行IO性能隔离的文件系统管理方法

    公开(公告)号:CN112433983A

    公开(公告)日:2021-03-02

    申请号:CN201910789086.3

    申请日:2019-08-26

    Abstract: 本发明公开了一种支持多作业并行IO性能隔离的文件系统管理方法,包括以下配置:文件资源池的定义:包括:服务数量列表、每个服务器上存储空间配额、静态信息以及每个服务器上该资源池可以使用最大存储性能;文件资源池的分配:并行文件系统提供文件资源池的分配接口,文件资源池请求中包含申请的资源池最大性能、资源池的IO使用方式、包含的数据服务器数量、分配的最大空间;文件资源池的释放:并行文件系统提供文件资源池的释放接口,用户或管理员通过该释放接口完成文件资源池内资源的释放;资源池内负载统计:文件资源池内的数据服务器的负载的评定是通过监控文件的生命周期实现。本发明文件系统管理方法缓解并行I/O过程中进程之间的性能不均衡,提高并行IO性能。

    一种基于作业计算资源的局部存储动态分配方法

    公开(公告)号:CN105279029B

    公开(公告)日:2018-07-06

    申请号:CN201510827194.7

    申请日:2015-11-24

    Inventor: 余婷 陈起 陈曦

    Abstract: 一种基于作业计算资源的局部存储动态分配方法,包括:用户提交作业,使用参数指明需要使用的局部资源;作业管理器将挂载局部请求的作业名称的相应唯一标识以及相应进程的进程排列号传递给局部管理器;局部管理器根据唯一标识通过哈希算法得到提供局部服务的第一个IO服务节点编号;依据第一个IO服务节点编号,每个进程排列号都依次加上该编号;使每个进程对应的计算节点挂载上对应服务的IO服务节点的局部数据输出服务;检查对应的每个进程排列号,确定是否在该挂载目录下存在每个进程的排列号目录;将每个计算节点下的局部目录下的排列号目录绑定到一个固定目录,使得每个进程对应的计算节点上的固定目录是仅自己可见的局部目录;进行作业的执行。

    面向分布式文件系统的RDMA通信地址交换方法

    公开(公告)号:CN112565326B

    公开(公告)日:2023-10-17

    申请号:CN201910918615.5

    申请日:2019-09-26

    Abstract: 本发明公开了一种面向分布式文件系统的RDMA通信地址交换方法,包括分布式文件系统的RDMA数据发送阶段和RDMA数据接收阶段,包括以下步骤:与远端建立连接时预交换若干个RDMA地址;根据文件操作的类型,将文件操作数据封装到本地的RDMA注册地址,生成RDMA消息;所述文件操作的类型包括打开操作open、关闭操作close、查找操作lookup、书写操作write和读取操作read;根据目前的远端RDMA地址使用情况为本次文件操作分配远端的RDMA地址;若RDMA空闲地址小于目前RDMA地址的一半,在生成的文件操作RDMA消息附带发送RDMA地址紧张报警信息让远端申请8个RDMA地址。本发明不会引发内存浪费、降低通信效率、消耗额外系统资源,减少了多余RDMA地址交换操作,提升了RDMA通信的整体效率。

Patent Agency Ranking