分布式内存列式数据库的缓存管理方法

    公开(公告)号:CN106294772A

    公开(公告)日:2017-01-04

    申请号:CN201610659223.8

    申请日:2016-08-11

    CPC classification number: G06F17/3048

    Abstract: 本发明公开了一种分布式内存列式数据库的缓存管理方法,包括:在缓存主控节点中建立缓存队列;以每个物理任务为根节点切割其所在的物理执行计划以获得每个物理任务对应的缓存计算轨迹;根据每个物理任务对应的缓存计算轨迹在缓存主控节点中构建缓存特征树;在查询请求到来时,查询执行引擎将SQL语句解析成物理执行计划;从物理执行计划的根节点开始层次遍历物理执行计划中每个节点,判断每个物理任务对应的缓存计算轨迹是否与缓存特征树匹配;若匹配,直接从缓存从节点中读取该物理任务的缓存实际数据,否则计算该物理任务。本发明提供的分布式内存列式数据库的缓存管理方法,通过高效的缓存匹配算法迅速检测缓存是否命中,提高了查询效率。

    基于chunk块版本号的分布式块存储系统数据恢复判定方法

    公开(公告)号:CN107071031B

    公开(公告)日:2019-11-05

    申请号:CN201710257826.X

    申请日:2017-04-19

    Abstract: 本发明公开了一种基于chunk块版本号的分布式块存储系统数据恢复判定方法,包括以下步骤:chunk块版本号命名方法:根据对卷的操作、对chunk块的第一个blk块和最后一个blk块的写入操作对chunk块版本号命名;异常判断:将该SU上每个chunk块与其所在编码组的chunk块进行版本号的比较以对出现数据异常的chunk块的进行判断;数据恢复:对出现数据异常的chunk块数据进行恢复。该方法以chunk块版本号为主要特征来判定数据是否需要恢复,减少传统分布式块文件系统恢复数据时的数据量。

    分布式内存列式数据库的缓存管理方法

    公开(公告)号:CN106294772B

    公开(公告)日:2019-03-19

    申请号:CN201610659223.8

    申请日:2016-08-11

    Abstract: 本发明公开了一种分布式内存列式数据库的缓存管理方法,包括:在缓存主控节点中建立缓存队列;以每个物理任务为根节点切割其所在的物理执行计划以获得每个物理任务对应的缓存计算轨迹;根据每个物理任务对应的缓存计算轨迹在缓存主控节点中构建缓存特征树;在查询请求到来时,查询执行引擎将SQL语句解析成物理执行计划;从物理执行计划的根节点开始层次遍历物理执行计划中每个节点,判断每个物理任务对应的缓存计算轨迹是否与缓存特征树匹配;若匹配,直接从缓存从节点中读取该物理任务的缓存实际数据,否则计算该物理任务。本发明提供的分布式内存列式数据库的缓存管理方法,通过高效的缓存匹配算法迅速检测缓存是否命中,提高了查询效率。

    基于webkit内核的存储资源服务的本地扩展方法

    公开(公告)号:CN103440134A

    公开(公告)日:2013-12-11

    申请号:CN201310391885.8

    申请日:2013-09-02

    Abstract: 本发明公开了一种基于webkit内核的存储资源服务的本地扩展方法,主要解决了现有技术中存在的webkit动态加载本地库的能力较差,且在webkit中扩展自己应用的能力较差,无法满足用户需求的问题。该基于webkit内核的存储资源服务的本地扩展方法,包括以下步骤:webkit根据用户提供的.idl文件编译生成JSXXX.cpp、JSXX.h、webkitDOMXXX.cpp、webkitDOMXXX.h及webkitDOMXXXPrivate.h文件;用户将与页面展示有关的扩展操作放置到/Source/webCore/page目录下,并将该扩展操作的接口函数编写入对应的.cpp文件中;根据用户的扩展操作编写符合WEBIDL规范的idl文件,并对makefile.am文件的编译过程、DOMWindow.h、DOMWindow.cpp和DOMWindow.idl进行相应修改。通过上述方案,本发明达到了扩展性较高、使用方便的目的,具有很高的实用价值和推广价值。

    一种分布式数据存储结构及数据存储方法和数据查询方法

    公开(公告)号:CN106326387B

    公开(公告)日:2019-06-04

    申请号:CN201610678434.6

    申请日:2016-08-17

    Abstract: 本发明公开了一种分布式数据存储结构及其数据存储方法和查询方法。涉及模块包括:主控节点:用于建立数据存储单元Block到所在的物理机器的映射关系、统计全局负载情况以及生成数据存储单元Block的ID。数据导入管理器:对外部数据进行缓存,生成数据存储单元Block,导入数据存储单元Block到存储节点。存储节点:存储数据存储单元Block,对查询者提供查询功能。

    基于连续存储模型的多视频流数据并发调制及缓冲的存储方法

    公开(公告)号:CN104811646B

    公开(公告)日:2018-07-24

    申请号:CN201510245337.3

    申请日:2015-05-15

    Abstract: 本发明公开了基于连续存储模型的多视频流数据并发调制及缓冲的存储方法。包括步骤:A、在数据存储节点初始化时,预先在每块刚进行过格式化的磁盘上建立固定大小的块文件,再将每个块文件划分成若干个连续固定大小的文件片;B、当多路视频流网络I/O到来时,每一路视频流的数据按照文件片的大小,在内存缓存中合并成一个或多个完整的片数据;C、调度器将片数据批量写入磁盘中的文件片中。本发明针对海量高清视频流数据的存储,提出了一种自定义的连续存储模型,有效解决了文件频繁创建和删除导致的磁盘分区空间碎片化,避免了磁盘磁头在视频流文件并发写入过程中的来回移动,高效利用了磁盘I/O吞吐率,同时提升了磁盘的写入速率。

    基于chunk块版本号的分布式块存储系统数据恢复判定方法

    公开(公告)号:CN107071031A

    公开(公告)日:2017-08-18

    申请号:CN201710257826.X

    申请日:2017-04-19

    Abstract: 本发明公开了一种基于chunk块版本号的分布式块存储系统数据恢复判定方法,包括以下步骤:chunk块版本号命名方法:根据对卷的操作、对chunk块的第一个blk块和最后一个blk块的写入操作对chunk块版本号命名;异常判断:将该SU上每个chunk块与其所在编码组的chunk块进行版本号的比较以对出现数据异常的chunk块的进行判断;数据恢复:对出现数据异常的chunk块数据进行恢复。该方法以chunk块版本号为主要特征来判定数据是否需要恢复,减少传统分布式块文件系统恢复数据时的数据量。

    面向视频流数据的分布式存储系统磁盘双分区写入方法

    公开(公告)号:CN104811647A

    公开(公告)日:2015-07-29

    申请号:CN201510245388.6

    申请日:2015-05-15

    Abstract: 本发明公开了面向视频流数据的分布式存储系统磁盘双分区写入方法。包括步骤:A、将每块磁盘划分为缓存分区和存储分区,缓存分区用于处理大量视频流的并发写入,存储分区用于稳定存储视频流的数据;当某块磁盘的缓存分区存在视频流写入时,该块磁盘标记为在线状态磁盘;C、当前磁盘的缓存分区上的数据拷贝至另一个处于离线状态磁盘的存储分区上,其中,磁盘的缓存分区没有视频流写入时,该块磁盘标记为离线状态磁盘。本发明克服了传统机械磁盘内圈外圈的读写速率不同而造成的磁盘I/O吞吐率不稳定的情况。充分发挥了缓存分区I/O吞吐率高的特点,能够在视频流写入时保证高速稳定写入带宽。同时利用了存储分区来持久保存数据,避免磁盘空间的浪费。

Patent Agency Ranking