一种基于学习索引的数据重删方法和系统

    公开(公告)号:CN118567562A

    公开(公告)日:2024-08-30

    申请号:CN202410699704.6

    申请日:2024-05-31

    Abstract: 本发明公开了一种基于学习索引的数据重删方法和系统,包括:若数据块请求为写请求,则将数据块写入内存缓存并计算指纹值,将指纹值和逻辑页地址写入LPA‑FP索引表;若内存缓存中的所有数据块的数量达到阈值,则为内存缓存中的所有数据块分配对应的物理页地址,并生成若干个FP‑PPA映射,根据若干个FP‑PPA映射通过分段线性回归计算得到FP‑PPA表达式,将FP‑PPA表达式写入内存缓存和闪存,并将内存缓存中的所有数据块写入闪存,将数据块及其相邻数据块的指纹值保存在带外数据区域;若数据块请求为读请求,则根据逻辑页地址在LPA‑FP索引表中查找指纹值,根据指纹值和FP‑PPA表达式计算出物理页地址并在闪存中查询所要读取的数据块,以减少内存缓存的空间并加快物理页地址的查找速度。

    一种天文数据处理方法
    3.
    发明公开

    公开(公告)号:CN119576881A

    公开(公告)日:2025-03-07

    申请号:CN202411790090.9

    申请日:2024-12-06

    Applicant: 厦门大学

    Abstract: 本发明公开了一种天文数据处理方法,包括以下步骤:对fits文件处理,以使fits文件由行式存储改为列式存储;提取并单独保存元数据,并使除元数据外的主要数据信息不间断的存储;对主要数据信息中的数值矩阵进行降噪处理,并单独保存噪声数据;通过多种预测方式对数值矩阵中除噪声之外的其他元素进行预测处理,并记录压缩率最小的预测方式及记录与其所对应的数值。利用天文数据中的局部性和存在噪声这些特点,对多维数值矩阵应用一种数值预测策略,通过这一预处理提高无损压缩率。首先对fits格式文件的数据排列方式进行重新组织,再对其中占比最大的数值数据进行噪声分离和数值预测,使有效数据更加集中,从而更适合被压缩。

    一种数据重删方法
    4.
    发明公开

    公开(公告)号:CN119960692A

    公开(公告)日:2025-05-09

    申请号:CN202510043184.8

    申请日:2025-01-10

    Applicant: 厦门大学

    Abstract: 本发明公开了一种数据重删方法,将计算哈希计算任务卸载至DPU内部的硬件加速器,大大提升了哈希计算速度,减少了请求响应时间。由于主机CPU未参与哈希计算,释放了部分计算资源,主机上的其他服务也能使用这部分资源,提高了CPU利用率。并采用一种CPU利用率感知的分块任务卸载方法。每当对象重删任务到达时,检查DPU内部ARM‑CPU的利用率,如果利用率过高,则使用主机CPU分块,然后再将分好的数据块发送至DPU。否则将对象整体发送至DPU,也就是将分块任务和哈希任务一并卸载至DPU。这样既能减少主机CPU的资源消耗,也能避免DPU内部ARM‑CPU负载过高而影响DPU自身的网络任务。

    基于本地和CXL扩展的混合内存中键值数据布局方法

    公开(公告)号:CN117806552A

    公开(公告)日:2024-04-02

    申请号:CN202311834755.7

    申请日:2023-12-28

    Applicant: 厦门大学

    Abstract: 本发明公开了一种基于本地和CXL扩展的混合内存中键值数据布局方法,包括:初始化步骤S101;数据写入步骤S102,将item插入到对应的slab类的Segmented LRU队列中管理;数据读取步骤S103;DRAM中冷数据迁移步骤S104;CXL中热数据迁移步骤S105;DRAM中slab重分配和slab驱逐步骤S106。本发明的DRAM与CXL拥有各自独立的哈希队列和LRU队列,避免了由于哈希拉链访问带来的读延迟,又避免了CXL部分数据的驱逐过程对DRAM部分的哈希表的拉链上锁;基于访问热度的slab重分配算法,避免过小的DRAM带来的严重钙化问题;通过DRAM与CXL之间的协作,发挥出两个介质各自的特点,既利用了DRAM的高速,又可以通过CXL内存扩展现有的DRAM容量,同时避免对内存键值存储系统性能的影响。

Patent Agency Ranking