基于SPDK的存储系统性能统计方法、系统、设备以及介质

    公开(公告)号:CN117251345A

    公开(公告)日:2023-12-19

    申请号:CN202311090729.8

    申请日:2023-08-28

    Inventor: 刘亚宇 田溢丰

    Abstract: 本发明公开了一种基于SPDK的分布式存储系统性能统计方法,包括以下步骤:在NVME Device层与SPDK驱动层之间部署监控模块;响应于所述监控模块监控到所述NVME Device层向所述SPDK驱动层发送IO请求,获取与所述IO请求对应的若干个第一参数;响应于所述监控模块监控到所述SPDK驱动层调用所述NVME Device层的回调函数,获取所述SPDK驱动层处理完成所述IO请求后得到的若干个第二参数;基于所述若干个第一参数和所述若干个第二参数确定分布式存储系统的性能。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案可以解决分布式存储系统ceph在使用SPDK驱动进行提升性能后,无法检测性能的问题。

    一种数据处理方法、系统、设备以及存储介质

    公开(公告)号:CN116166195A

    公开(公告)日:2023-05-26

    申请号:CN202310142910.2

    申请日:2023-02-17

    Inventor: 刘亚宇 张昭阳

    Abstract: 本发明公开了一种数据处理方法,包括以下步骤:响应于接收到数据写入请求,判断所述数据写入请求是否为数据更新请求;响应于所述数据写入请求为数据更新请求,获取旧数据并将其放入到临时区;读取所述旧数据对应的元数据并根据所述数据写入请求中携带的地址更新所述元数据;将所述数据写入请求中的新数据写入。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案通过增加临时区管理旧数据从而避免元数据clone的方式,解决数据写入过程中对SSD操作次数过多对性能和SSD使用寿命的影响,提升性能,降低成本。

    一种分布式存储的测试数据曲线绘制方法、装置及介质

    公开(公告)号:CN116051678A

    公开(公告)日:2023-05-02

    申请号:CN202310076338.4

    申请日:2023-01-30

    Abstract: 本申请公开了一种分布式存储的测试数据曲线绘制方法、装置及介质,涉及分布式存储领域,解决需要手动导入数据绘制曲线的问题,接收到绘制指令后,获取测试数据包;根据所述测试数据包的数据类型获取对应的绘制模板;根据所述绘制模板解析所述测试数据包,得到绘制数据,根据所述绘制数据进行曲线绘制,得到测试数据曲线。通过在曲线绘制前选择已存在的绘制模板,可以快速使用现有方式进行曲线绘制,缩短性能分析时间,提高效率;便于使用者根据测试数据的不同构建不同的绘图模型,以实现不同的数据处理方式与图形绘制方法,在不修改代码的前提下满足不同测试数据曲线的绘制。

    数据写入更新方法、系统、装置及计算机可读存储介质

    公开(公告)号:CN115438062A

    公开(公告)日:2022-12-06

    申请号:CN202211293449.2

    申请日:2022-10-21

    Inventor: 刘亚宇 李文鹏

    Abstract: 本发明公开了一种数据写入更新方法、系统、装置及计算机可读存储介质,涉及分布式存储系统领域,BlueStore接收到对应写入请求时,确定在存储模块中覆盖数据的待写入物理地址及已写入数据的已写入物理地址,基于已写入物理地址确定删除标识,将删除标识及覆盖数据发送至存储模块,以便存储模块基于删除标识控制已写入物理地址对应的工作状态标记为可删除状态并将覆盖数据写入待写入物理地址,在一次数据写入过程中既实现了覆盖数据的写入,又实现了已写入物理地址的工作状态标记,避免了写放大问题,提升了BlueStore的工作性能;后续该已写入物理地址将不会作为有效数据参与到对应处理逻辑,延长了存储模块的使用寿命。

    一种数据存储方法、装置、设备及可读存储介质

    公开(公告)号:CN115344217A

    公开(公告)日:2022-11-15

    申请号:CN202211060409.3

    申请日:2022-08-30

    Abstract: 本申请公开了一种数据存储方法、装置、设备及可读存储介质,方法应用于bitmap分配器,包括:对位图层中一未被占用且未被加锁的children加锁;判断加锁的children对应的磁盘空间中是否存在待存储数据对应的连续可用空间;若是,将待存储数据存储到连续可用空间中;若否,释放锁,对其他任一未被占用且未被加锁的children进行加锁,直至对位图层中最后一未被占用且未被加锁的children进行加锁和相应处理为止。本申请公开的上述技术方案,通过对未被占用且未被加锁的children进行加锁实现数据并发存储,提高数据存储效率,并优先将数据存储到磁盘的连续可用空间中,增强数据存储的连续性。

    一种数据存储方法、装置、设备及介质

    公开(公告)号:CN115129263A

    公开(公告)日:2022-09-30

    申请号:CN202210967924.3

    申请日:2022-08-12

    Inventor: 刘亚宇 李文鹏

    Abstract: 本申请公开了一种数据存储方法、装置、设备及介质,涉及计算机技术领域,包括:获取待存储数据,并从所有的所述待存储数据中筛选出目标待存储数据;确定出与所述目标待存储数据相对应的目标数据切分方法,并按照所述目标数据切分方法对所述目标待存储数据进行切分,以得到目标待存储子数据;基于所述目标待存储子数据和预先获取的存储磁盘的剩余存储空间信息生成虚拟磁盘空间,基于所述虚拟磁盘空间将所述目标待存储子数据存储至所述存储磁盘。通过本申请的上述技术方案,能够实现大文件场景下提升读写性能、使数据连续性以及减少元数据量。

    数据管理方法及装置
    7.
    发明公开

    公开(公告)号:CN119861879A

    公开(公告)日:2025-04-22

    申请号:CN202510341115.5

    申请日:2025-03-21

    Abstract: 本申请实施例提供了一种数据管理方法及装置,其中,该方法包括:获取待写入固态硬盘的多个数据;获取多个数据中的各个数据对应的热度属性;根据热度属性,将各个数据写入固态硬盘中的各个数据块,其中,不同的数据块对应不同的热度属性条件。通过本申请,解决了数据管理效率较低的技术问题,进而达到了提高数据管理效率的效果。

    数据存储空间分配方法、装置、设备及存储介质

    公开(公告)号:CN117631997A

    公开(公告)日:2024-03-01

    申请号:CN202311372802.0

    申请日:2023-10-20

    Abstract: 本发明涉及分布式存储技术领域,公开了数据存储空间分配方法、装置、设备及存储介质,本发明基于预设空间分配比例,配置数据分配器;数据分配器包括第一分配器和第二分配器;基于预设可用空间占比,分别确定第一分配器和第二分配器对应的可用逻辑空间;基于获取到的目标数据对应的数据分配器,在数据分配器对应的可用逻辑空间内为目标数据分配逻辑地址;将目标数据写入逻辑地址对应的物理地址中。如此,可以通过第一分配器和第二分配器将对数据和元数据的存储空间的分配分离,将数据和元数据分别存在对应的存储空间中,避免两者相互影响,减少存储空间的碎片化。

    一种性能检测方法、装置、电子设备及存储介质

    公开(公告)号:CN117312113A

    公开(公告)日:2023-12-29

    申请号:CN202311257360.5

    申请日:2023-09-26

    Inventor: 刘亚宇 田溢丰

    Abstract: 本申请提供一种性能检测方法、装置、电子设备及存储介质,该方法包括:基于SPDK用户态驱动提供的接口,获取SPDK的业务请求;根据业务请求的请求信息,生成业务请求对应的数据结构体;根据数据结构体,确定业务请求的目标回调函数;当SPDK用户态驱动完成业务请求时,调用目标回调函数,以基于目标回调函数,确定SPDK用户态驱动的性能检测结果。上述方案提供的方法,通过在接收到业务请求时,首先生成该业务请求的数据结构体,当SPDK用户态驱动完成业务请求时,调用该数据结构体所对应的目标回调函数,以实现SPDK用户态驱动的性能检测,对提高SPDK用户态驱动的可靠性奠定了基础。

    设备实时使用率确定方法、装置、计算机设备及存储介质

    公开(公告)号:CN117130885A

    公开(公告)日:2023-11-28

    申请号:CN202311091912.X

    申请日:2023-08-28

    Abstract: 本公开涉及数据处理领域,公开了设备实时使用率确定方法、装置、计算机设备及存储介质,该方法包括:获取目标设备的当前业务特征,其中,当前业务特征用于测试目标设备的当前业务表现性能;根据当前业务特征遍历性能表,得到对应的目标性能指标,其中,性能表用于存储业务特征与性能指标之间的映射关系;获取目标设备的观察性能指标,其中,观察性能指标为目标设备当下可被测试到的业务表现性能;根据观察性能指标和目标性能指标,确定目标设备的实时使用率。本公开通过性能表内业务特征与性能指标之间的映射关系,从而计算出设备实时使用率,解决相关技术中的实时使用率计算存在适用范围受限,实时使用率不准确的问题。

Patent Agency Ranking