一种数据存储方法、装置、电子设备和存储介质

    公开(公告)号:CN114968069A

    公开(公告)日:2022-08-30

    申请号:CN202110220134.4

    申请日:2021-02-26

    Abstract: 本发明提供一种数据存储方法、装置、电子设备和计算机存储介质,所述方法包括:获取存储桶中的每个对象;所述存储桶位于对象存储网关RGW中;获取所述每个对象的索引数据;所述索引数据包括所述每个对象的分片编号;基于所述每个对象的分片编号,对数据库中的表进行划分,得到至少一个分区;所述每个分区用于存储相同分片编号的对象所对应的索引数据;将所述每个分区中不同对象的索引数据按照条目存储于所述数据库中;每个条目用于存储一个对象的索引数据;由于该方法支持对索引数据的部分修复且修复的粒度是单个对象级别的修复,进而,能够有效降低用户在读写对象的索引数据时发生IO阻塞的可能性,提高读写性能。

    测试方法、装置、电子设备及存储介质

    公开(公告)号:CN117591412A

    公开(公告)日:2024-02-23

    申请号:CN202311588606.7

    申请日:2023-11-27

    Abstract: 本申请提供一种测试方法、装置、电子设备及存储介质,该方法应用于teuthology系统,所述teuthology系统包括多个测试节点,所述方法包括:获取待测试任务;基于所述待测试任务获取预生成的测试镜像和预生成的源码编译打包镜像,以及根据所述测试镜像生成测试容器;在所述多个测试节点中确定与所述待测试任务对应的目标测试节点;基于目标测试节点利用所述测试镜像、所述源码编译打包镜像和所述测试容器对所述待测试任务进行测试,得到测试结果。本申请通过在测试过程中,根据需要进行测试的待测试任务生成测试镜像和源码编译打包镜像,并根据测试镜像获取测试容器,从而在多个空闲的测试节点中确定目标测试节点,并根据目标测试节点进行测试,从而提高了测试安全性和测试效率。

    一种数据存储方法、装置、电子设备、芯片及介质

    公开(公告)号:CN117573675A

    公开(公告)日:2024-02-20

    申请号:CN202311596622.0

    申请日:2023-11-27

    Abstract: 本公开提供一种数据存储方法、装置、电子设备、芯片及介质,涉及数据存储技术领域,该方法包括:通过存储引擎的存储数据库,确定数据和元数据对应的键值对;确定键值对中键值对应的键值数据的大小;判断键值数据的大小与预设阈值之间的关系,并根据判断结果,确定键值数据对应的存储位置,存储位置包括存储数据库的日志结构归并树和存储数据库的二进制存储文件;将键值数据存储至存储位置,通过在存储引擎的存储数据库中统一对数据和元数据进行处理,并且采样键值分离机制,根据键值数据的大小动态确定键值数据的存储位置,提高了数据写入性能,避免产生严重的写放大现象以及造成性能的浪费的问题。

    数据读写方法、装置、电子设备、存储介质和程序产品

    公开(公告)号:CN118170323B

    公开(公告)日:2024-08-16

    申请号:CN202410578996.8

    申请日:2024-05-11

    Abstract: 本申请公开了一种数据读写方法、装置、电子设备、存储介质和程序产品,所述数据读写方法应用于电子设备,所述电子设备包括存储系统,所述存储系统包括:RocksDB层、KingdomFS层和硬件层,所述硬件层包括用于存储数据的存储设备;所述KingdomFS层包括日志模块,所述日志模块包括所述硬件层中的存储设备对应的操作日志;所述方法包括:基于所述KingdomFS层利用所述日志模块中的操作日志,将所述硬件层所存储的数据的元数据加载至所述电子设备的内存空间;在所述RocksDB层生成数据请求的情况下,所述KingdomFS层响应于所述数据请求,对所述硬件层中所存储的数据进行读写,其中,所述数据请求为数据写入请求或数据读取请求。本申请技术方案可以提高存储系统的存储性能。

    数据读写方法、装置、电子设备、存储介质和程序产品

    公开(公告)号:CN118170323A

    公开(公告)日:2024-06-11

    申请号:CN202410578996.8

    申请日:2024-05-11

    Abstract: 本申请公开了一种数据读写方法、装置、电子设备、存储介质和程序产品,所述数据读写方法应用于电子设备,所述电子设备包括存储系统,所述存储系统包括:RocksDB层、KingdomFS层和硬件层,所述硬件层包括用于存储数据的存储设备;所述KingdomFS层包括日志模块,所述日志模块包括所述硬件层中的存储设备对应的操作日志;所述方法包括:基于所述KingdomFS层利用所述日志模块中的操作日志,将所述硬件层所存储的数据的元数据加载至所述电子设备的内存空间;在所述RocksDB层生成数据请求的情况下,所述KingdomFS层响应于所述数据请求,对所述硬件层中所存储的数据进行读写,其中,所述数据请求为数据写入请求或数据读取请求。本申请技术方案可以提高存储系统的存储性能。

    一种数据存储方法、存储设备及计算机可读存储介质

    公开(公告)号:CN116795296A

    公开(公告)日:2023-09-22

    申请号:CN202311031673.9

    申请日:2023-08-16

    Abstract: 本申请提供一种数据存储方法、存储设备及计算机可读存储介质,涉及数据处理技术领域,存储设备包括单机存储引擎和硬盘驱动器HDD,所述单机存储引擎包括数据处理模块、用户态文件系统模块和裸设备管理模块,该方法包括:获取目标数据,并将所述目标数据写入内存中;基于所述数据处理模块对所述内存中的所述目标数据进行处理,并基于所述数据处理模块的交互接口模块将处理后的数据写入所述用户态文件系统模块中;基于所述裸设备管理模块将所述用户态文件系统模块中的数据写入至所述HDD。本申请通过HDD作为存储介质能有效降低成本。

Patent Agency Ranking