面向Key-Value系统的compaction粗粒度进程级并行优化方法及系统

    公开(公告)号:CN107291541A

    公开(公告)日:2017-10-24

    申请号:CN201710486056.6

    申请日:2017-06-23

    Applicant: 安徽大学

    Inventor: 孙辉 刘伟 施巍松

    Abstract: 本发明公开了面向Key-Value系统的compaction粗粒度进程级并行优化方法及系统,所述方法包括:主进程接收到读写请求后判断是否需要调度compaction线程,若是,主进程将compaction线程中的任务信息分割为主进程子任务和从进程子任务;主进程和从进程分别对主进程子任务和从进程子任务进行compaction操作;主进程在主进程完成主进程子任务compaction操作且从进程完成从进程子任务compaction操作后对Key-Value系统的文件进行优化。本发明利用主进程完成Key-Value系统中compaction任务的动态分割,并实现了与从进程协同compaction处理的新模式,挖掘了compaction任务的进程级并行性,充分利用了CPU的计算资源,提高了CPU资源的利用率,且优化了compaction消耗的时间,不仅提高了数据处理的实时性,而且提高了系统性能以及吞吐量。

    一种面向近数据处理架构下键值存储系统的异步并行优化方法

    公开(公告)号:CN113779024B

    公开(公告)日:2024-02-09

    申请号:CN202110897962.1

    申请日:2021-08-05

    Abstract: 本发明涉及数据索引查询技术领域,尤其为一种面向近数据处理架构下键值存储系统的异步并行优化方法,本发明中,利用近数据处理的键值存储技术,本方案将部分compaction计算任务卸载到NDP设备端进行计算来减少数据移动,实现传统的以计算为中心模型向以数据为中心模型的转变。充分挖掘NDP设备端的计算能力,实现异构环境下compaction任务的系统级并行与任务并行,通过多种优先级调度与多队列管理的异步并行策略,有效避免了同步协同策略下因两端计算能力差距带来的延时。此外,跨层compaction机制可以降低写放大,同时提升compaction任务的处理效率。

    一种面向固态盘数据存储智能缓存管理方法

    公开(公告)号:CN116610253A

    公开(公告)日:2023-08-18

    申请号:CN202310458076.8

    申请日:2023-04-25

    Abstract: 本发明公开了一种面向固态盘数据存储智能缓存管理方法,包括以下步骤:S1,收集数据,分析负载访问特点、闪存芯片的状态;S2,离线训练机器学习模型,并将机器学习模型和相关算法固化在固态盘上;S3,对批量写回窗口的使用与否和如何使用进行判断调整;S4,对下次是否使用机器学习模型,以及下次批量写回时的替换数据进行选择;S5,对机器学习模型是否适用和机器学习模型的使用频次是否合理进行评估,从而调整机器学习模型的使用。通过机器学习算法实现在缓存数据管理时的最佳管理,缓存命中率高,底层IO避免,和及时批量写回冷数据,空出缓存空间服务上层主机端IO请求。

    基于多NDP协同主机端执行并行任务的KV存储系统优化方法

    公开(公告)号:CN111897783B

    公开(公告)日:2023-05-02

    申请号:CN202010587891.0

    申请日:2020-06-24

    Applicant: 安徽大学

    Inventor: 孙辉 王强

    Abstract: 本发明提出的一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法,首先在存储系统中设置多个NDP设备,组成多NDP的可计算存储阵列,每一个NDP设备设置一个对应的键值阈值,并根据键值阈值对NDP设备进行排序,获取各NDP设备的键值区间;主机端将获取的存储数据分发到各NDP设备进行存储;当触发压缩任务时,首先获取参与压缩的文件,结合参与压缩的文件的键值范围和键值阈值,将参与压缩的文件分配到对应的NDP设备进行压缩和存储。本发明通过压缩任务的动态分割和分配,达到主机端CPU与NDP设备阵列多CPU协同的效果,且实现了NDP设备与键值存储系统的横向扩展能力,通过NDP设备阵列扩展了存储资源和计算资源。

    一种无人机边缘服务器的资源和任务分配优化系统

    公开(公告)号:CN113395679A

    公开(公告)日:2021-09-14

    申请号:CN202110572660.7

    申请日:2021-05-25

    Abstract: 一种无人机边缘服务器的资源和任务分配优化系统,云服务器端包括任务资源分配和无人机定位模块;任务资源分配和无人机定位模块在收集需要卸载任务的请求后,以相关设备的状态信息和需要卸载的任务信息为判断依据,使用深度学习算法和进化算法来将非凸分数规划问题转化为可解形式,分解为优化卸载决策和无人机定位两个过程,根据决策结果得到任务和资源分配方案,然后将生成的任务和资源分配方案传送给指定的设备以进行任务卸载。本发明解决了现有的研究方法未综合考虑无人机信号有效覆盖范围与多层系统计算资源充分利用,未能发挥出系统资源的最大性能的问题。

    用于空气污染检测的无人机系统

    公开(公告)号:CN113377125A

    公开(公告)日:2021-09-10

    申请号:CN202110579170.X

    申请日:2021-05-26

    Applicant: 安徽大学

    Inventor: 孙辉 张波 仲红

    Abstract: 用于空气污染检测的无人机系统,包括云服务器端,包括云服务器,云服务器进行实时污染数据分析和模型的训练以及调度策略的制定;移动服务器端,包括移动边缘服务器,移动边缘服务器利用其移动能力为计算资源不充足区域提供计算卸载和无线信号覆盖范围通信服务;边缘节点端,包括边缘节点,边缘节点对原始污染数据进行预处理操作和将数据传输按调度策略分别传输到指定的层计算资源,层计算资源包括边缘节点层、云服务器层和以无人机为载体的移动边缘服务器层。本申请使用配备边缘服务器的无人机在布满污染检测节点的场地中执行任务,综合考虑充分利用无人机的计算能力、移动能力和基于无线信号衰减的通信能力,高效利用多层架构的资源。

Patent Agency Ranking