面向视频流数据的分布式多内存副本存储系统及方法

    公开(公告)号:CN104954388A

    公开(公告)日:2015-09-30

    申请号:CN201510410720.X

    申请日:2015-07-14

    CPC classification number: H04L65/1013 H04N21/2181 H04N21/6125

    Abstract: 一种面向视频流数据的分布式多内存副本存储系统及方法,所述系统包括一个元服务器和至少两个数据服务器,数据服务器包括全局空闲缓冲分片链表、写磁盘队列以及循环缓冲队列;元服务器在收到存储服务请求时,为当前视频流数据配置一个数据服务器作为主存储服务器,为当前视频流数据配置至少一个数据服务器作为从存储服务器;全局空闲缓冲分片链表包括预定数量的链表单元,每个链表单元包括写入视频流数据的缓冲分片和指向下一链表单元的指针;主存储服务器中写满视频流数据的缓冲分片存储在写磁盘队列中,从存储服务器中写满视频流数据的缓冲分片存储在循环缓冲队列中。本发明提供的存储系统及方法,以低成本方式避免视频流数据发生丢帧现象。

    分布式内存列式数据库的索引建立方法

    公开(公告)号:CN105843933B

    公开(公告)日:2019-01-29

    申请号:CN201610193216.3

    申请日:2016-03-30

    Abstract: 本发明公开了一种分布式内存列式数据库的索引建立方法,包括:将单列数据切分为至少两个数据分片;并行计算每个数据分片的列式压缩索引的中间数据和行表向量的中间数据,所述列式压缩索引包括字典向量、索引向量以及位置向量;按序存储并更新每个数据分片的列式压缩索引的中间数据和行表向量的中间数据,以形成列式压缩索引和行表向量。本发明提供的分布式内存列式数据库的索引建立方法,对于巨表的导入计算节点并不需要多大的内存,可以节约硬件成本。

    一种分布式数据存储结构及数据存储方法和数据查询方法

    公开(公告)号:CN106326387B

    公开(公告)日:2019-06-04

    申请号:CN201610678434.6

    申请日:2016-08-17

    Abstract: 本发明公开了一种分布式数据存储结构及其数据存储方法和查询方法。涉及模块包括:主控节点:用于建立数据存储单元Block到所在的物理机器的映射关系、统计全局负载情况以及生成数据存储单元Block的ID。数据导入管理器:对外部数据进行缓存,生成数据存储单元Block,导入数据存储单元Block到存储节点。存储节点:存储数据存储单元Block,对查询者提供查询功能。

    分布式内存列式数据库的索引建立方法

    公开(公告)号:CN105843933A

    公开(公告)日:2016-08-10

    申请号:CN201610193216.3

    申请日:2016-03-30

    CPC classification number: G06F17/30336

    Abstract: 本发明公开了一种分布式内存列式数据库的索引建立方法,包括:将单列数据切分为至少两个数据分片;并行计算每个数据分片的列式压缩索引的中间数据和行表向量的中间数据,所述列式压缩索引包括字典向量、索引向量以及位置向量;按序存储并更新每个数据分片的列式压缩索引的中间数据和行表向量的中间数据,以形成列式压缩索引和行表向量。本发明提供的分布式内存列式数据库的索引建立方法,对于巨表的导入计算节点并不需要多大的内存,可以节约硬件成本。

    面向视频流数据的分布式多内存副本存储系统及方法

    公开(公告)号:CN104954388B

    公开(公告)日:2018-03-20

    申请号:CN201510410720.X

    申请日:2015-07-14

    Abstract: 一种面向视频流数据的分布式多内存副本存储系统及方法,所述系统包括一个元服务器和至少两个数据服务器,数据服务器包括全局空闲缓冲分片链表、写磁盘队列以及循环缓冲队列;元服务器在收到存储服务请求时,为当前视频流数据配置一个数据服务器作为主存储服务器,为当前视频流数据配置至少一个数据服务器作为从存储服务器;全局空闲缓冲分片链表包括预定数量的链表单元,每个链表单元包括写入视频流数据的缓冲分片和指向下一链表单元的指针;主存储服务器中写满视频流数据的缓冲分片存储在写磁盘队列中,从存储服务器中写满视频流数据的缓冲分片存储在循环缓冲队列中。本发明提供的存储系统及方法,以低成本方式避免视频流数据发生丢帧现象。

Patent Agency Ranking