-
公开(公告)号:CN106709048A
公开(公告)日:2017-05-24
申请号:CN201710006054.2
申请日:2017-01-05
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
Abstract: 一种面向高性能计算的分布式数据组织方法,在接口层将数据访问和数据管理分离开来;在计算节点端,客户端仅向应用程序提供精简的数据访问接口,支持对应用完全透明的POSIX形式的文件访问操作。本发明针对高性能计算应用的数据存储需求,对POSIX文件系统访问语义进行了精简,解耦数据访问和数据管理,为应用程序提供高效、轻量级的编程接口;采用分布式对象存储技术进行数据组织,突破传统文件系统数据组织限制,实现更为高效的数据访问协议,进一步提升系统可扩展能力;提出基于内存的元数据管理方式,首次将高性能非关系键值数据库引入高性能计算机系统,利用其优良特性对外提供高效可扩展的元数据服务。
-
公开(公告)号:CN105512185A
公开(公告)日:2016-04-20
申请号:CN201510830806.8
申请日:2015-11-24
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F17/30132
Abstract: 本发明提供了一种基于作业时序缓存共享的方法,包括:在JOB提交运行前,声明JOB运行过程中的需要的DFS Cache资源量;系统为各个JOB的作业分配相应的DFS Cache资源,并启动JOB作业运行;使得各个JOB作业运行多轮,其中JOB会产生多次对于DFS Cache的访问,使系统采集各个JOB作业访问DFS Cache的时间间隔;在JOB作业访问缓存资源的时间间隔趋于稳定的情况下,记录所述时间间隔,并且启动DFS Cache共享分配算法;在执行JOB作业时,由存储管理系统按照运行的所有JOB作业访问DFS Cache的情况对JOB作业的数据进行读写,如果存储管理系统确定存在JOB数据访问超过时间窗口,重新启动DFS Cache共享分配算法。
-
公开(公告)号:CN102456049A
公开(公告)日:2012-05-16
申请号:CN201010527389.7
申请日:2010-10-28
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种数据迁移方法、装置及面向对象的分布式文件系统,其中,所述数据迁移方法中,当需要将源对象存储服务器存储的文件对象迁移至目标对象存储服务器中时,在目标对象存储服务器中创建空文件对象,再建立所述源对象存储服务器中文件对象和目标对象存储服务器空文件对象之间的数据传输通道,这样,就可以将文件对象数据直接由源对象存储服务器中文件对象迁移至目标对象存储服务器空文件对象中,不需要客户端参与,解决了现有数据迁移操作时,传输路径长且易出现数据传输错误的问题。
-
-