-
公开(公告)号：CN115712583B
公开(公告)日：2023-04-18
申请号：CN202310023205.0
申请日：2023-01-09
Applicant: 之江实验室 , 无锡江南计算技术研究所
IPC: G06F12/0877 , G06F12/0884 , G06F12/0862 , G06F3/06 , G06N3/08
Abstract: 本发明公开了一种提升分布式缓存跨节点访问性能的方法及装置、介质。该方法依据轮次训练时预先生成的随机序列，在一个训练步骤中需要跨节点访问训练所需的样本时，查看当前步骤以及后续步骤所需的其他样本是否也存在于目标节点中，如果存在则将其一次性读取过来。本发明减少了训练过程中跨节点访问的次数带来的性能开销，有助于提升训练的总体性能。
-
公开(公告)号：CN115712583A
公开(公告)日：2023-02-24
申请号：CN202310023205.0
申请日：2023-01-09
Applicant: 之江实验室 , 无锡江南计算技术研究所
IPC: G06F12/0877 , G06F12/0884 , G06F12/0862 , G06F3/06 , G06N3/08
Abstract: 本发明公开了一种提升分布式缓存跨节点访问性能的方法及装置、介质。该方法依据轮次训练时预先生成的随机序列，在一个训练步骤中需要跨节点访问训练所需的样本时，查看当前步骤以及后续步骤所需的其他样本是否也存在于目标节点中，如果存在则将其一次性读取过来。本发明减少了训练过程中跨节点访问的次数带来的性能开销，有助于提升训练的总体性能。
-
公开(公告)号：CN112445660B
公开(公告)日：2022-09-13
申请号：CN201910801001.9
申请日：2019-08-28
Applicant: 无锡江南计算技术研究所
IPC: G06F11/22
Abstract: 本发明公开一种针对共享存储阵列性能均衡性问题的测试方法，基于以下模块：控制模块，用于配置均衡性测试端、均衡性测试分区、均衡性测试目录，还用于生成并发送均衡性测试场景命令、均衡性测试命令，还用于收集与汇总均衡性测试结果；测试模块，用于接收管理端的命令并执行，如生成均衡性测试场景，进行指定线程数、指定文件大小、指定块大小、指定顺序写/读、指定随机写/读的均衡性测试，记录并返回均衡性测试结果至控制模块。本发明既可准确测试判断存储设备在面向多个服务器时是否存在性能均衡性问题，也可以判断单一服务器上多个不同的LUN之间是否存在性能均衡性问题。
-
公开(公告)号：CN102456048A
公开(公告)日：2012-05-16
申请号：CN201010527381.0
申请日：2010-10-28
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种海量数据处理方法及系统，其中，本发明公开的海量数据处理方法中，预先设定限额触发值和限额值，若数据存储设备的当前使用空间超过所述限额触发值、且达到所述限额值时，对所述存储设备执行文件处理操作，释放其存储空间，直至所述存储设备的当前使用空间小于所述限额值，再存储所述数据，解决了存储设备的存储空间届满时，无法存入数据的问题。
-
公开(公告)号：CN114217733B
公开(公告)日：2023-10-13
申请号：CN202110479680.X
申请日：2021-04-30
Applicant: 无锡江南计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开一种面向IO转发系统的IO处理框架，包括以下作业粒度的IO调度单元，用于在IO转发节点上，根据作业的job ID将所有的IO请求进行分类；文件粒度的IO调度单元，用于将来自同一作业的IO请求按照文件进行分配，并以文件为单位进行调度；IO操作级别的IO调度单元，用于在IO请求调度过程中分析来自同一个文件的多个IO请求之间的依赖关系，并根据这些依赖关系，实现合并写IO请求和优化预读；还包括一动态资源调度单元，用于根据各个IO调度单元对IO请求的执行情况。本发明解决了高性能计算转发架构下的IO转发服务器的IO调度问题。
-
Patent Agency Ranking
公开(公告)号：CN112558858B
公开(公告)日：2022-11-15
申请号：CN201910852999.5
申请日：2019-09-10
Applicant: 无锡江南计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开一种基于动态IO感知的超大规模应用外存访问特征获取方法，包括以下步骤：在应用程序中，调用数据操作请求；将数据操作请求中所有的IO调用请求，通过虚拟文件系统模块提交到用户空间文件系统；用户空间文件系统将接收到的IO调用请求投递到用户空间，IO负载监控模块对IO调用请求进行解析，获得此IO调用请求的目标操作地址，并判断该目标操作地址是否位于应用程序所操作的目录下；客户端将IO调用请求传送到服务端；IO负载监控模块收集并记录在课题从开始到结束完整周期内的IO操作信息。本发明采用与目录相关的采集数据集，与应用的代码开发无关，不影响应用的运行，不影响操作系统内核的稳定运行，可缩短应用的运行时间，提高高性能计算机的运行效率。
-
公开(公告)号：CN114217734A
公开(公告)日：2022-03-22
申请号：CN202110480186.5
申请日：2021-04-30
Applicant: 无锡江南计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开一种分布式存储系统数据管理方法，包括及时任务模式、定时任务模式和策略模式，所述策略模式下的数据管理方法包括以下步骤：S31、发起数据管理请求；S32、接收到数据管理请求；S33、将数据管理请求分发到组成存储系统的每一个服务器上；S34、每台服务器将数据管理请求记录到待执行队列中；S35、服务器上设置定时的状态收集信息库，根据状态信息库提供的状态信息，执行具体操作；S36、如果在最大时限内没有满足条件的时刻，那么在最大时限到达后，根据数据管理请求执行操作；S37、等待所有服务器执行完成。本发明可以降低在线业务与数据管理之间的冲突，保证在线业务的时效性，同时保证数据管理的可靠性。
-
公开(公告)号：CN112433840A
公开(公告)日：2021-03-02
申请号：CN201910789241.1
申请日：2019-08-26
Applicant: 无锡江南计算技术研究所
IPC: G06F9/50
Abstract: 本发明公开一种针对高性能计算的动态的存储资源划分方法，基于以下模块：用户模块，Project配置模块，为每个作业创建project标识符、配置project标识符的属性，并保存到数据库，还用于从数据库取出project配置信息，提供给作业管理系统；启停文件系统模块，向数据库调取对应的project的属性信息并打包成消息发送给作业管理系统，服务监控模块，监控I/O转发节点的I/O代理转发系统服务是否正常，并更新到数据库；数据库接口模块，作业管理系统，根据作业的project标识符，调用存储调度系统提供的文件系统启停模块，将来自文件系统启停模块的消息分发到所有计算节点。本发明使得计算资源与I/O代理资源之间比例不再固定，动态的为其分配存储资源，使存储资源的使用更加灵活高效。
-
公开(公告)号：CN109194721A
公开(公告)日：2019-01-11
申请号：CN201810930179.9
申请日：2018-08-15
Applicant: 无锡江南计算技术研究所
IPC: H04L29/08
Abstract: 本发明公开一种异步的RDMA通信内存动态管理方法及系统，该方法包括：预注册内存管理模块实时监控网络通信传输模块对于RDMA预注册内存的使用情况；预注册内存管理模块根据监控结果，动态的申请和释放RDMA预注册内存空间。本发明可根据需要动态的申请和释放RDMA预注册内存空间，克服了传统RDMA通信机制中需要预先静态注册地址空间的缺点，不仅有效降低了所消耗的内存，而且还提升了内存注册的性能，提高了网络通信的效率。
-
公开(公告)号：CN114217734B
公开(公告)日：2023-10-27
申请号：CN202110480186.5
申请日：2021-04-30
Applicant: 无锡江南计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开一种分布式存储系统数据管理方法，包括及时任务模式、定时任务模式和策略模式，所述策略模式下的数据管理方法包括以下步骤：S31、发起数据管理请求；S32、接收到数据管理请求；S33、将数据管理请求分发到组成存储系统的每一个服务器上；S34、每台服务器将数据管理请求记录到待执行队列中；S35、服务器上设置定时的状态收集信息库，根据状态信息库提供的状态信息，执行具体操作；S36、如果在最大时限内没有满足条件的时刻，那么在最大时限到达后，根据数据管理请求执行操作；S37、等待所有服务器执行完成。本发明可以降低在线业务与数据管理之间的冲突，保证在线业务的时效性，同时保证数据管理的可靠性。
-
-
-
-
-
-
-
-
-
Search Results
26
records
(took 0.055 seconds)
