-
公开(公告)号:CN119003599A
公开(公告)日:2024-11-22
申请号:CN202411476564.2
申请日:2024-10-22
Applicant: 中国空气动力研究与发展中心计算空气动力研究所
IPC: G06F16/2455 , G06F16/242 , G06F16/25
Abstract: 本发明公开了一种面向超算平台进行多源异构数据采集、存储与读取的方法及系统,该方法包括:通过统一的API接口对各超算平台的多源异构数据进行采集,并按照不同的应用场景将采集的数据进行分布式存储,当用户读取多源异构的超算平台数据时,调用预制查询语句库构建出针对不同数据源的查询语句,对分布式存储的多源异构数据进行查询后依据优先级进行整合,当查询预加载数据时,每执行完成一次查询与数据整合后,根据当前轮次数据查询与整合所用时间动态调整后续执行各查询语句与数据整合的优先级顺序。本发明通过统一的API接口采集超算平台数据,并将数据进行分布式存储,既减小了存储空间的压力,同时也方便根据应用场景读取、整合所需超算数据。
-
公开(公告)号:CN119356626A
公开(公告)日:2025-01-24
申请号:CN202411959130.8
申请日:2024-12-30
Applicant: 中国空气动力研究与发展中心计算空气动力研究所
IPC: G06F3/06
Abstract: 本申请公开了一种作业静态感知条带优化方法、装置、存储设备及介质,涉及计算机优化技术领域,先对离线数据分析,筛选出涉及写操作的作业,统计每条作业在各个OST上的写I/O数据量并进行降序排列,求和得到每条作业的写I/O数据总量,对作业添加属性,标记为待条带化作业,按照应用进行条带化设置,对应用的作业数目进行判断,若应用的作业数目不小于第四阈值则进行子目录条带化设置。针对超级计算机优化作业OST中瞬时负载极不平衡的问题,通过将条带技术应用于存储系统中,通过对作业I/O模式的探索分析,确定可条带优化的作业,此外提出了静态感知文件条带化,能够快速有效的判定可条带化的作业,以适应不同用户的作业分布情况。
-
公开(公告)号:CN116996359B
公开(公告)日:2023-12-12
申请号:CN202311248286.0
申请日:2023-09-26
Applicant: 中国空气动力研究与发展中心计算空气动力研究所
IPC: H04L41/04 , H04L41/12 , H04L49/25 , H04L49/356
Abstract: 本发明涉及超级计算机技术领域,公开了一种超级计算机的网络拓扑构建方法及装置,该方法,将计算结点划分成组、将I/O转发结点分组放置,并改变I/O转发方式,使得计算结点只能共享使用本组内的I/O转发结点。本发明解决了现有技术存在的以下问题:在二维网络中产生大量聚集的通信数据包,造成通信阻塞,严重影响了互连通信系统的运行稳定性,并影响了I/O效率等。
-
公开(公告)号:CN119917298A
公开(公告)日:2025-05-02
申请号:CN202510421331.0
申请日:2025-04-07
Applicant: 中国空气动力研究与发展中心计算空气动力研究所
Abstract: 本发明属于超级计算机技术领域,公开了一种基于Burst Buffer资源预留的作业调度优化方法,引入了Burst Buffer资源的预留机制,具体包括如下:作业提交与资源需求预留,Burst Buffer资源的预留机制具体包括系统根据每个作业对计算资源和Burst Buffer的需求,提前为其分配相应的Burst Buffer资源;作业调度的时间窗口机制,调度过程采用时间窗口模式;作业执行顺序采用传统方式,并通过比较优化指标作业进一步选择执行的顺序;作业回填;优化目标选择任一或综合的优化目标效果最好的作业执行顺序。本发明在调度过程中提高了作业调度效率和Burst Buffer资源的利用率。
-
公开(公告)号:CN119003599B
公开(公告)日:2025-01-28
申请号:CN202411476564.2
申请日:2024-10-22
Applicant: 中国空气动力研究与发展中心计算空气动力研究所
IPC: G06F16/2455 , G06F16/242 , G06F16/25
Abstract: 本发明公开了一种面向超算平台进行多源异构数据采集、存储与读取的方法及系统,该方法包括:通过统一的API接口对各超算平台的多源异构数据进行采集,并按照不同的应用场景将采集的数据进行分布式存储,当用户读取多源异构的超算平台数据时,调用预制查询语句库构建出针对不同数据源的查询语句,对分布式存储的多源异构数据进行查询后依据优先级进行整合,当查询预加载数据时,每执行完成一次查询与数据整合后,根据当前轮次数据查询与整合所用时间动态调整后续执行各查询语句与数据整合的优先级顺序。本发明通过统一的API接口采集超算平台数据,并将数据进行分布式存储,既减小了存储空间的压力,同时也方便根据应用场景读取、整合所需超算数据。
-
公开(公告)号:CN117908804B
公开(公告)日:2024-05-28
申请号:CN202410310701.9
申请日:2024-03-19
Applicant: 中国空气动力研究与发展中心计算空气动力研究所
IPC: G06F3/06 , G06F16/901 , G06F18/213 , G06F18/23
Abstract: 本发明公开了基于作业感知的文件条带化方法、装置、设备及介质,通过对存储系统的I/O分布以及作业I/O模式探索得出确定适合超级计算机的作业可条带优化的标准,根据作业是否满足可条带优化条件采用静、动态文件条带。本发明根据用户的角度来采用静、动态文件条带,可以较好地使用用户新提交的作业,以及容错恢复措施。
-
公开(公告)号:CN117908804A
公开(公告)日:2024-04-19
申请号:CN202410310701.9
申请日:2024-03-19
Applicant: 中国空气动力研究与发展中心计算空气动力研究所
IPC: G06F3/06 , G06F16/901 , G06F18/213 , G06F18/23
Abstract: 本发明公开了基于作业感知的文件条带化方法、装置、设备及介质,通过对存储系统的I/O分布以及作业I/O模式探索得出确定适合超级计算机的作业可条带优化的标准,根据作业是否满足可条带优化条件采用静、动态文件条带。本发明根据用户的角度来采用静、动态文件条带,可以较好地使用用户新提交的作业,以及容错恢复措施。
-
公开(公告)号:CN116996359A
公开(公告)日:2023-11-03
申请号:CN202311248286.0
申请日:2023-09-26
Applicant: 中国空气动力研究与发展中心计算空气动力研究所
IPC: H04L41/04 , H04L41/12 , H04L49/25 , H04L49/356
Abstract: 本发明涉及超级计算机技术领域,公开了一种超级计算机的网络拓扑构建方法及网络拓扑结构,该方法,将计算结点划分成组、将I/O转发结点分组放置,并改变I/O转发方式,使得计算结点只能共享使用本组内的I/O转发结点。本发明解决了现有技术存在的以下问题:在二维网络中产生大量聚集的通信数据包,造成通信阻塞,严重影响了互连通信系统的运行稳定性,并影响了I/O效率等。
-
-
-
-
-
-
-