一种非易失存储的异构引擎分布式数据库架构构建方法

    公开(公告)号:CN117407378A

    公开(公告)日:2024-01-16

    申请号:CN202311176149.0

    申请日:2023-09-12

    Abstract: 本发明为一种非易失存储的异构引擎分布式数据库架构构建方法与装置,包括以下步骤:构建根节点服务器;构建结构化操作服务器,用于解析结构化查询语言;构建分布式异构存储引擎服务器,其中,又包括:构建至少一个外存储引擎节点服务器,包括:构建至少一个外存储引擎节点;构建至少一个非易失存储引擎节点服务器,包括:构建至少一个非易失存储引擎节点;所述根节点服务器保存所述外存储引擎节点和所述非易失存储引擎节点的元信息和数据分片元信息;所述根节点服务器收集所述外存储引擎节点服务器和所述非易失存储引擎节点服务器的性能统计数据;根节点服务器根据所述性能统计数据和数据分片元信息对分布数据分片制定调度策略。

    一种基于捎带回收的瓦记录RAID写顺序化方法及装置

    公开(公告)号:CN106293543B

    公开(公告)日:2019-03-12

    申请号:CN201610726634.4

    申请日:2016-08-25

    Abstract: 本发明提出一种基于捎带回收的瓦记录RAID写顺序化方法及装置,计算机存储领域,该装置包括结构管理模块,用于将带通过循环日志的结构进行管理;高速持久缓存模块,用于接收所有非顺序写请求,当高速持久缓存被写到水位时触发下刷,其中将带划分为数据带与校验带,下刷以组为单位进行,组之间的写入未产生写覆盖,组内非整条带的写过程触发小写过程,同时在小写读时做捎带回收操作。本发明中当所有小写读都完成后再开始小写写,在带内小写读的过程中捎带做回收读,在小写写过程中将回收读出的有效数据和要下刷的有效数据合并为大块的顺序写,避免带内小写产生的RMW过程,并提升系统的整体性能。

    一种文件系统中异步批量创建文件的系统及方法

    公开(公告)号:CN105740334A

    公开(公告)日:2016-07-06

    申请号:CN201610045909.8

    申请日:2016-01-22

    CPC classification number: G06F16/134 G06F16/13 G06F16/16

    Abstract: 本发明提出一种文件系统中异步批量创建文件的系统及方法,该系统包括文件异步创建模块,用于接收文件创建请求,在父目录下创建所述文件的内存目录项,并标记为“未同步到磁盘”状态,为所述文件分配内存索引节点,并设置所述索引节点的索引节点号为伪索引节点号;文件创建批量回刷模块,用于扫描目录项缓存,获取所述内存目录项,及与所述伪索引节点号相对应的内存索引节点,选取在相同父目录下的多个被标记为“未同步到磁盘”状态的内存目录项,为每个所述文件分配真正索引节点号替换所述伪索引节点号,并为还未分配数据块资源状态的缓存页批量分配数据块资源,将分配的数据块资源记录到文件布局中,并将所述文件的所述内存目录项插入到所述父目录中。

    元数据服务器失效接替中精确一次执行语义的方法及系统

    公开(公告)号:CN104991739A

    公开(公告)日:2015-10-21

    申请号:CN201510346978.8

    申请日:2015-06-19

    Abstract: 本发明涉及元数据服务器失效接替技术及非幂元数据等操作等领域,特别涉及元数据服务器失效接替中精确一次执行语义的方法及系统,包括:在客户端正常访问元数据服务器时,所述元数据服务器在会话session结构中为每个操作分配slotID、sequenceID以及存放响应结果的缓存空间,并将所述session结构持久写入到元数据磁盘上,并将所述slotID和所述sequenceID复制给备份服务器,所述备份服务器收到后,将所述slotID和所述sequenceID放入所述备份服务器缓存中;所述元数据服务器宕机之后,所述备份服务器从磁盘中读取所述session结构的信息,查找已经持久到磁盘上但并未给客户端发送回复结果的非幂等操作,根据所述session结构中的slot table重新构造所述回复结果并发送给客户端。

    一种日志映射的块设备精简配置方法

    公开(公告)号:CN104035729A

    公开(公告)日:2014-09-10

    申请号:CN201410218798.7

    申请日:2014-05-22

    Abstract: 本发明公开了一种日志映射的块设备精简配置方法,该方法包括:硬盘数据布局步骤用于将存储资源格式化,将硬盘数据布局进行资源池化管理,以支持精简配置的资源分配及日志映射信息的存储和管理;精简配置资源管理步骤用于基于资源池化的硬盘,将数据按照存储资源写时按需分配方式顺序写入硬盘的下一空闲资源,并生成写操作相应的映射信息;映射信息日志化步骤用于将写操作映射信息按照追加分配方式进行日志化存储,并基于异步更新方式进行映射信息的修改操作,以实现多用户多虚拟卷并发顺序的数据写入。

    一种计算机文件系统的快照方法

    公开(公告)号:CN101178677A

    公开(公告)日:2008-05-14

    申请号:CN200710177135.5

    申请日:2007-11-09

    Abstract: 本发明提供一种目录级计算机文件系统快照的创建方法,包括:确定需要创建快照的目录;当目录第一次创建快照时,将目录工作版本的根索引节点信息添加到快照集索引表中,更新最近一次创建或者删除快照集的时间点;分配一个新的索引节点作为所要创建的快照版本的根索引节点,并将工作版本的根索引节点的内容复制到新分配的索引节点中;将工作版本的写时拷贝链表复制到新创建快照的根索引节点上,然后清空工作版本的写时拷贝链表内容;将快照版本的根索引节点的快照创建时间设置为计算机系统的当前时间;将快照版本的根索引节点链接到目录的快照链表上。本发明还提供了目录级计算机文件系统快照的删除方法,以及目录工作版本修改方法。

    一种支持原地更新的瓦记录写顺序化方法及装置

    公开(公告)号:CN108376053B

    公开(公告)日:2020-02-28

    申请号:CN201810065182.9

    申请日:2018-01-23

    Abstract: 本发明提出一种支持原地更新的瓦记录写顺序化方法及装置,涉及计算机存储领域,该方法包括瓦记录磁盘中的带划分为随机带、半随机带、顺序带;初始时瓦记录磁盘中的带由随机带与顺序带组成,如果应用以非顺序写为主,则随机带的比例高于顺序带的比例,如果应用以顺序写为主,则顺序带的比例高于随机带的比例,当随机带中的可写磁道被写满时,将写满的随机带转换为半随机带,以增加带内可写入空间;当半随机带中的可写磁道被写满时,将被写满的半随机带转换为顺序带。本发明将瓦记录磁盘的带划分为三种类型,将随机写顺序化,并且支持原地更新,从而避免了瓦记录整带的RMW过程,一定程度上提升了瓦记录磁盘非顺序写性能。

    一种差量快照系统及其使用方法

    公开(公告)号:CN103942011B

    公开(公告)日:2017-06-09

    申请号:CN201410077212.X

    申请日:2014-03-04

    Abstract: 本发明公开了一种差量快照系统及其使用方法,该系统包括:快照模块,用于维护源卷和快照卷的依赖关系、快照策略语义以及管理快照元数据;精简配置模块,该精简配置模块具有资源管理子模块,用于实现对快照的资源管理功能,该功能包括资源分配、资源映射、资源回收;该快照模块与该精简配置模块通过通用块层接口通信,该快照模块通过向该精简配置模块发送数据请求或资源管理命令实现通信。该系统使快照语义与物理资源管理解耦合,能够按需分配存储资源,并能够实现写时拷贝、写时重定向、随处写三种方式的处理逻辑,提高快照资源有效利用率。

Patent Agency Ranking