公开(公告)号：CN118672501B

公开(公告)日：2024-12-13

申请号：CN202410717272.7

申请日：2024-06-04

Applicant: 华中科技大学

Inventor： 张东映 ,  杨旭 ,  黄智超 ,  张肖 ,  杜帅 ,  张语轩 ,  李嘉宸

IPC: G06F3/06 ,  G06F9/50

Abstract: 本申请属于计算机优化领域，具体公开一种用于NetCDF文件的变量数据缓存方法和系统。包括：从NetCDF文件的根group开始，逐级往下递归获取数据及其中的元数据信息，自动生成数据索引、数据块、元数据构建数据箱子，若有多个文件，每一个文件对应一个数据箱子，将这多个数据箱子组织成数据仓库。本申请通过预先加载数据块到内存中的数据箱子，构建快速的索引结构，实现对大规模数据集的快速访问，满足人工智能算法对数据实时性和响应性的需求；通过减少重复读取文件的次数，提高数据的利用率和计算资源的利用效率；通过优化数据访问和管理流程，降低对计算资源的需求。相比于直接从文件中读取数据，通过数据缓存和索引技术可以减少数据访问的时间和计算负载。

公开(公告)号：CN118672501A

公开(公告)日：2024-09-20

申请号：CN202410717272.7

申请日：2024-06-04

Applicant: 华中科技大学

Inventor： 张东映 ,  杨旭 ,  黄智超 ,  张肖 ,  杜帅 ,  张语轩 ,  李嘉宸

IPC: G06F3/06 ,  G06F9/50

Abstract: 本申请属于计算机优化领域，具体公开一种用于NetCDF文件的变量数据缓存方法和系统。包括：从NetCDF文件的根group开始，逐级往下递归获取数据及其中的元数据信息，自动生成数据索引、数据块、元数据构建数据箱子，若有多个文件，每一个文件对应一个数据箱子，将这多个数据箱子组织成数据仓库。本申请通过预先加载数据块到内存中的数据箱子，构建快速的索引结构，实现对大规模数据集的快速访问，满足人工智能算法对数据实时性和响应性的需求；通过减少重复读取文件的次数，提高数据的利用率和计算资源的利用效率；通过优化数据访问和管理流程，降低对计算资源的需求。相比于直接从文件中读取数据，通过数据缓存和索引技术可以减少数据访问的时间和计算负载。