一种面向IO转发系统的IO处理框架及IO请求处理方法

    公开(公告)号:CN114217733B

    公开(公告)日:2023-10-13

    申请号:CN202110479680.X

    申请日:2021-04-30

    Abstract: 本发明公开一种面向IO转发系统的IO处理框架,包括以下作业粒度的IO调度单元,用于在IO转发节点上,根据作业的job ID将所有的IO请求进行分类;文件粒度的IO调度单元,用于将来自同一作业的IO请求按照文件进行分配,并以文件为单位进行调度;IO操作级别的IO调度单元,用于在IO请求调度过程中分析来自同一个文件的多个IO请求之间的依赖关系,并根据这些依赖关系,实现合并写IO请求和优化预读;还包括一动态资源调度单元,用于根据各个IO调度单元对IO请求的执行情况。本发明解决了高性能计算转发架构下的IO转发服务器的IO调度问题。

    基于动态IO感知的超大规模应用外存访问特征获取方法

    公开(公告)号:CN112558858B

    公开(公告)日:2022-11-15

    申请号:CN201910852999.5

    申请日:2019-09-10

    Abstract: 本发明公开一种基于动态IO感知的超大规模应用外存访问特征获取方法,包括以下步骤:在应用程序中,调用数据操作请求;将数据操作请求中所有的IO调用请求,通过虚拟文件系统模块提交到用户空间文件系统;用户空间文件系统将接收到的IO调用请求投递到用户空间,IO负载监控模块对IO调用请求进行解析,获得此IO调用请求的目标操作地址,并判断该目标操作地址是否位于应用程序所操作的目录下;客户端将IO调用请求传送到服务端;IO负载监控模块收集并记录在课题从开始到结束完整周期内的IO操作信息。本发明采用与目录相关的采集数据集,与应用的代码开发无关,不影响应用的运行,不影响操作系统内核的稳定运行,可缩短应用的运行时间,提高高性能计算机的运行效率。

    一种分布式存储系统数据管理方法

    公开(公告)号:CN114217734A

    公开(公告)日:2022-03-22

    申请号:CN202110480186.5

    申请日:2021-04-30

    Abstract: 本发明公开一种分布式存储系统数据管理方法,包括及时任务模式、定时任务模式和策略模式,所述策略模式下的数据管理方法包括以下步骤:S31、发起数据管理请求;S32、接收到数据管理请求;S33、将数据管理请求分发到组成存储系统的每一个服务器上;S34、每台服务器将数据管理请求记录到待执行队列中;S35、服务器上设置定时的状态收集信息库,根据状态信息库提供的状态信息,执行具体操作;S36、如果在最大时限内没有满足条件的时刻,那么在最大时限到达后,根据数据管理请求执行操作;S37、等待所有服务器执行完成。本发明可以降低在线业务与数据管理之间的冲突,保证在线业务的时效性,同时保证数据管理的可靠性。

    针对高性能计算的动态的存储资源划分方法

    公开(公告)号:CN112433840A

    公开(公告)日:2021-03-02

    申请号:CN201910789241.1

    申请日:2019-08-26

    Abstract: 本发明公开一种针对高性能计算的动态的存储资源划分方法,基于以下模块:用户模块,Project配置模块,为每个作业创建project标识符、配置project标识符的属性,并保存到数据库,还用于从数据库取出project配置信息,提供给作业管理系统;启停文件系统模块,向数据库调取对应的project的属性信息并打包成消息发送给作业管理系统,服务监控模块,监控I/O转发节点的I/O代理转发系统服务是否正常,并更新到数据库;数据库接口模块,作业管理系统,根据作业的project标识符,调用存储调度系统提供的文件系统启停模块,将来自文件系统启停模块的消息分发到所有计算节点。本发明使得计算资源与I/O代理资源之间比例不再固定,动态的为其分配存储资源,使存储资源的使用更加灵活高效。

    一种异步的RDMA通信内存动态管理方法及系统

    公开(公告)号:CN109194721A

    公开(公告)日:2019-01-11

    申请号:CN201810930179.9

    申请日:2018-08-15

    Abstract: 本发明公开一种异步的RDMA通信内存动态管理方法及系统,该方法包括:预注册内存管理模块实时监控网络通信传输模块对于RDMA预注册内存的使用情况;预注册内存管理模块根据监控结果,动态的申请和释放RDMA预注册内存空间。本发明可根据需要动态的申请和释放RDMA预注册内存空间,克服了传统RDMA通信机制中需要预先静态注册地址空间的缺点,不仅有效降低了所消耗的内存,而且还提升了内存注册的性能,提高了网络通信的效率。

    文件加密方法、解密方法及装置

    公开(公告)号:CN102456116B

    公开(公告)日:2015-01-14

    申请号:CN201010527367.0

    申请日:2010-10-28

    Abstract: 本发明公开了一种文件加、解密方法、装置及文件加解密系统,其中所述文件加密方法包括:获取待加密文件;当所述待加密文件的文件头长度达到阈值时,加密该文件的文件头,使所述待加密文件映射为加密文件。本发明公开的文件加密方法中,当文件头的长度达到预设阈值时,不对文件进行整体加密,而只加密文件的文件头,解决了现有的文件加密方法对大文件进行整体加密造成的耗时较长、效率较低的问题。并且,由于文件的文件头中包含有文件的格式信息等基本属性信息,加密文件头之后,即使非法用户获取得到文件之后,由于文件头为加密的文件头,非法用户无法得知文件的格式,无法读取文件。

    文件加密方法、解密方法及装置

    公开(公告)号:CN102456116A

    公开(公告)日:2012-05-16

    申请号:CN201010527367.0

    申请日:2010-10-28

    Abstract: 本发明公开了一种文件加、解密方法、装置及文件加解密系统,其中所述文件加密方法包括:获取待加密文件;当所述待加密文件的文件头长度达到阈值时,加密该文件的文件头,使所述待加密文件映射为加密文件。本发明公开的文件加密方法中,当文件头的长度达到预设阈值时,不对文件进行整体加密,而只加密文件的文件头,解决了现有的文件加密方法对大文件进行整体加密造成的耗时较长、效率较低的问题。并且,由于文件的文件头中包含有文件的格式信息等基本属性信息,加密文件头之后,即使非法用户获取得到文件之后,由于文件头为加密的文件头,非法用户无法得知文件的格式,无法读取文件。

    面向分布式文件系统的RDMA通信地址交换方法

    公开(公告)号:CN112565326B

    公开(公告)日:2023-10-17

    申请号:CN201910918615.5

    申请日:2019-09-26

    Abstract: 本发明公开了一种面向分布式文件系统的RDMA通信地址交换方法,包括分布式文件系统的RDMA数据发送阶段和RDMA数据接收阶段,包括以下步骤:与远端建立连接时预交换若干个RDMA地址;根据文件操作的类型,将文件操作数据封装到本地的RDMA注册地址,生成RDMA消息;所述文件操作的类型包括打开操作open、关闭操作close、查找操作lookup、书写操作write和读取操作read;根据目前的远端RDMA地址使用情况为本次文件操作分配远端的RDMA地址;若RDMA空闲地址小于目前RDMA地址的一半,在生成的文件操作RDMA消息附带发送RDMA地址紧张报警信息让远端申请8个RDMA地址。本发明不会引发内存浪费、降低通信效率、消耗额外系统资源,减少了多余RDMA地址交换操作,提升了RDMA通信的整体效率。

    一种面向IO转发系统的IO处理框架及IO请求处理方法

    公开(公告)号:CN114217733A

    公开(公告)日:2022-03-22

    申请号:CN202110479680.X

    申请日:2021-04-30

    Abstract: 本发明公开一种面向IO转发系统的IO处理框架,包括以下作业粒度的IO调度单元,用于在IO转发节点上,根据作业的job ID将所有的IO请求进行分类;文件粒度的IO调度单元,用于将来自同一作业的IO请求按照文件进行分配,并以文件为单位进行调度;IO操作级别的IO调度单元,用于在IO请求调度过程中分析来自同一个文件的多个IO请求之间的依赖关系,并根据这些依赖关系,实现合并写IO请求和优化预读;还包括一动态资源调度单元,用于根据各个IO调度单元对IO请求的执行情况。本发明解决了高性能计算转发架构下的IO转发服务器的IO调度问题。

    面向超大规模存储系统性能异常降级问题的自动鉴别方法

    公开(公告)号:CN112559230A

    公开(公告)日:2021-03-26

    申请号:CN201910852581.4

    申请日:2019-09-10

    Abstract: 本发明公开一种面向超大规模存储系统性能异常降级问题的自动鉴别方法,基于以下配置:故障总控模块,用于提供存储系统状态的整体视图,并通过查询故障数据库获取文件系统的故障信息,并发送到存储系统的总信息库;故障探测模块,用于判断当前存储系统是否有故障,如果没有故障,则返回状态正常,如果有故障,将当前存储设备的故障信息上报给驻留模块;设置于存储设备上的驻留模块,用于定时调用故障探测模块,对存储系统进行探测,并将接收自故障探测模块的故障信息规划后录入故障数据库,还用于将故障信息发送至故障总控模块。本发明实现了面向超大规模存储系统中性能降级设备的及时发现的报警,从而使大规模IO应用课题的存储性能得到保证。

Patent Agency Ranking