-
公开(公告)号:CN117573043A
公开(公告)日:2024-02-20
申请号:CN202410065117.1
申请日:2024-01-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明涉及数据存储技术领域,公开了分布式存储数据的传输方法、装置、系统、设备和介质,将读写存储缓冲区的内存地址预先注册到网卡;读写存储缓冲区具有电容保电特性。依据控制消息获取源端设备的源端内存地址;根据源端内存地址从源端设备拉取数据至自身设备的网卡。依据注册到网卡的内存地址以及数据的数据量所匹配的存储方式,将数据存储至对应的读写存储缓冲区;基于用户态驱动控制将读写存储缓冲区的数据下刷至非易失性存储介质。由于网卡中注册了读写存储缓冲区的内存地址,因此网卡可以直接将数据存储至读写存储缓冲区,整个实现过程减少了中央处理器和主机内存的参与,减少了主机内存拷贝带来的时延,提升了数据传输效率。
-
公开(公告)号:CN117573043B
公开(公告)日:2024-06-28
申请号:CN202410065117.1
申请日:2024-01-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明涉及数据存储技术领域,公开了分布式存储数据的传输方法、装置、系统、设备和介质,将读写存储缓冲区的内存地址预先注册到网卡;读写存储缓冲区具有电容保电特性。依据控制消息获取源端设备的源端内存地址;根据源端内存地址从源端设备拉取数据至自身设备的网卡。依据注册到网卡的内存地址以及数据的数据量所匹配的存储方式,将数据存储至对应的读写存储缓冲区;基于用户态驱动控制将读写存储缓冲区的数据下刷至非易失性存储介质。由于网卡中注册了读写存储缓冲区的内存地址,因此网卡可以直接将数据存储至读写存储缓冲区,整个实现过程减少了中央处理器和主机内存的参与,减少了主机内存拷贝带来的时延,提升了数据传输效率。
-
公开(公告)号:CN111813342A
公开(公告)日:2020-10-23
申请号:CN202010673842.9
申请日:2020-07-14
Applicant: 济南浪潮数据技术有限公司
Inventor: 李杰
IPC: G06F3/06 , G06F16/21 , G06F16/215
Abstract: 本发明公开了一种数据回收方法,该方法包括以下步骤:对接收到的数据删除请求进行解析,得到聚合文件中各待删除的目标数据块;调用删除线程对各目标数据块进行删除操作;调用回收线程在聚合文件内部对各剩余数据块进行聚合操作,以完成数据回收操作;其中,各剩余数据块为聚合文件中除各目标数据块之外的数据块。应用本发明实施例所提供的技术方案,较大地提高了数据回收效率,降低了对前端业务性能的影响。本发明还公开了一种数据回收装置、设备及存储介质,具有相应技术效果。
-
公开(公告)号:CN116795285A
公开(公告)日:2023-09-22
申请号:CN202310755450.0
申请日:2023-06-25
Applicant: 济南浪潮数据技术有限公司
Inventor: 李杰
IPC: G06F3/06
Abstract: 本发明提供了一种分布式存储中减少数据转发的方法、装置、设备及可读介质,方法包括:在客户端对待写入存储器的数据进行纠删计算,并将纠删计算后的数据分片和控制数据分别发送到主存储器和从存储器中;主存储器向每个从存储器发送数据落盘的控制信息;响应于接收到主存储器发送的数据落盘的控制信息,从存储器将数据分片进行落盘。通过使用本发明的方案,能够减少分布式存储系统中数据存储和读取时的数据转发的次数,降低存储系统的负载,提高存储系统的效率,能够在普通以太网不支持RDMA的前提下实现高性能通信。
-
公开(公告)号:CN115543208A
公开(公告)日:2022-12-30
申请号:CN202211293454.3
申请日:2022-10-21
Applicant: 济南浪潮数据技术有限公司
Inventor: 李杰
IPC: G06F3/06
Abstract: 本申请公开了一种纠删条带写方法、系统、电子设备及可读存储介质,涉及存储领域,应用于数控分离架构的分布式存储系统中主节点,该方法包括:获取客户端根据待写数据构造的单边消息;将元数据分发到目标节点,以使目标节点根据元数据直接从客户端读取对齐数据并落盘;对非对齐数据进行对齐处理后进行纠删计算并生成片段数据;将片段数据转发到目标节点,以使目标节点读取片段数据并落盘。本申请在客户端将待写数据拆分为对齐数据和非对齐数据,对齐数据被快速读取到目标节点,剩余从主节点转发的非对齐数据的数据量明显降低,从而数据处理耗时小、转发占用的数据宽带量减少,写处理效率提高。
-
公开(公告)号:CN118069062A
公开(公告)日:2024-05-24
申请号:CN202410234510.9
申请日:2024-02-29
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请实施例提供了一种分布式存储系统、分布式存储方式的确定方法,其中,该系统包括:N个子服务机框,用于对传输至分布式存储系统的目标数据进行分层存储,其中,N为大于1的正整数;扩展盘框,与N个子服务机框分别建立通信连接,用于接收每一个子服务机框中插入的非易失性内存快速存储盘的插入信息,并在N个子服务机框之间同步已插入的非易失性内存快速存储盘中的目标数据;多控制器,与扩展盘框连接,用于根据插入信息对N个子服务机框中每一个子服务机框已插入的非易失性内存快速存储盘进行控制划分,以根据划分结果控制分布式存储系统的数据存储路径。解决了对于分布式存储系统无法实现软件和硬件的有效结合,且单控稳定性差的问题。
-
-
-
-
-