-
公开(公告)号:CN108629016A
公开(公告)日:2018-10-09
申请号:CN201810431484.3
申请日:2018-05-08
Applicant: 成都信息工程大学
IPC: G06F17/30
Abstract: 本发明属于计算机软件技术领域,公开了一种支持实时流计算面向大数据数据库控制系统、计算机程序,数据接口模块,读取接收的数据,并将数据发给数据预处理模块;数据预处理模块,读取数据接口模块传来的数据,并对数据进行预处理,再将预处理后的数据发给实时流计算模块;实时流计算模块,读取数据预处理模块传来的数据,对数据进行实时流计算,将得到的结果数据传给数据处理模块;数据处理模块,读取实时流计算模块传来的数据,对数据做最后的处理,再将处理后的数据存到Hbase数据库中。弥补Hbase在实时处理上的不足,也避免用户需要单独利用storm框架编写程序去达到数据处理的需求的难题。
-
公开(公告)号:CN108629016B
公开(公告)日:2022-05-24
申请号:CN201810431484.3
申请日:2018-05-08
Applicant: 成都信息工程大学
Abstract: 本发明属于计算机软件技术领域,公开了一种支持实时流计算面向大数据数据库控制系统、计算机程序,数据接口模块,读取接收的数据,并将数据发给数据预处理模块;数据预处理模块,读取数据接口模块传来的数据,并对数据进行预处理,再将预处理后的数据发给实时流计算模块;实时流计算模块,读取数据预处理模块传来的数据,对数据进行实时流计算,将得到的结果数据传给数据处理模块;数据处理模块,读取实时流计算模块传来的数据,对数据做最后的处理,再将处理后的数据存到Hbase数据库中。弥补Hbase在实时处理上的不足,也避免用户需要单独利用storm框架编写程序去达到数据处理的需求的难题。
-
公开(公告)号:CN110837436A
公开(公告)日:2020-02-25
申请号:CN201911074058.X
申请日:2019-11-05
Applicant: 成都信息工程大学
Abstract: 本发明属于信息处理技术领域,公开了一种有限域上的高效纠删码轻量化自动解码方法、智能终端模块,根据每个元素生成规则,形成一个校验矩阵;生成单位矩阵,将矩阵和校验矩阵按照上下顺序组成成一个新的矩阵;选取第i个失效位置,确定新矩阵第i列下半部分第一非零元素;对其他非零元素所在行进行更新;将矩阵中的第NZj行设置为全零元素;当下半部分矩阵元素变为全零元素时,矩阵变换终止,相应失效元素对应列若参与变换过程则可恢复;依次对失效码元进行计算求出。本发明可以直接计算得出,思路简洁,有利于软硬件的代码实现,消除了有限域上的矩阵求逆运算,极大的降低译码所需的计算工作量,提高运算效率。
-
公开(公告)号:CN110837436B
公开(公告)日:2023-10-13
申请号:CN201911074058.X
申请日:2019-11-05
Applicant: 成都信息工程大学
Abstract: 本发明属于信息处理技术领域,公开了一种有限域上的高效纠删码轻量化自动解码方法、智能终端模块,根据每个元素生成规则,形成一个校验矩阵;生成单位矩阵,将矩阵和校验矩阵按照上下顺序组成成一个新的矩阵;选取第i个失效位置,确定新矩阵第i列下半部分第一非零元素;对其他非零元素所在行进行更新;将矩阵中的第NZj行设置为全零元素;当下半部分矩阵元素变为全零元素时,矩阵变换终止,相应失效元素对应列若参与变换过程则可恢复;依次对失效码元进行计算求出。本发明可以直接计算得出,思路简洁,有利于软硬件的代码实现,消除了有限域上的矩阵求逆运算,极大的降低译码所需的计算工作量,提高运算效率。
-
公开(公告)号:CN110457161A
公开(公告)日:2019-11-15
申请号:CN201910681574.2
申请日:2019-07-26
Applicant: 成都信息工程大学
IPC: G06F11/10 , G06F11/14 , G06F16/182
Abstract: 本发明属于信息数据处理技术领域,公开了一种高效高可靠的大数据存储系统、方法、计算机程序,按照配置中心设置获取用户上传的数据;阵列化模块,计算出编码的阵列;读取阵列化模块计算的阵列,按照阵列进行编码;主节点和从节点之间互相发送心跳信息,读取配置中心的心跳延迟时间;解析出失效节点信息;进行数据恢复;根据要下载的数据ID查询各个原始数据分块的位置;读取配置中心的设置,负责分配编码后的分块存储节点,以及数据恢复时选择的新生节点;配置中心,负责管理系统中的各种参数;存储编码后的分块。本发明提供了一种存储效率达到最优、高效、高可靠性、易扩展的大数据存储解决方案。
-
公开(公告)号:CN108734748A
公开(公告)日:2018-11-02
申请号:CN201810523656.X
申请日:2018-05-28
Applicant: 成都信息工程大学
CPC classification number: G06T9/00 , G06T1/0021
Abstract: 本发明提供一种基础矩阵的构建方法,包括根据k和n的值判断n>2k-2还是n≤2k-2;当n>2k-2时,采用将原矩阵切割为两个子矩阵的方法将原矩阵中的元素一一替换的方法构建基础矩阵;当n≤2k-2时,按照将新建成矩阵按照每列都包括k-1个1和k-1个0构成的方法进行构建基础矩阵。本发明矩阵的构造方法,矩阵中0和1的分布十分均匀,不存在在门限要求以内会有泄露秘密图像信息的可能性。
-
公开(公告)号:CN108536833A
公开(公告)日:2018-09-14
申请号:CN201810325933.6
申请日:2018-04-12
Applicant: 成都信息工程大学
IPC: G06F17/30
Abstract: 本发明属于信息检索及其数据库结构技术领域,公开了一种分布式、面向大数据的数据库及其构建方法,文件存储层具体为分布式文件系统HDFS,用于存放系统中HBase的数据以及Hadoop所需的数据。数据库主体层分为HBase数据库核心层和Redis高速缓存层。辅助工具层分为Sqoop数据导入导出工具和Tephra事务辅助处理框架。当选取将HBase与Redis相结合使用,既可以实现海量数据存储、又可以兼顾系统高并发高实时。为了保证数据库数据的一致性,采用的主要有快照复制、事务复制、合并复制三种类型。
-
-
-
-
-
-