基于MapReduce的MYSQL数据库的变化数据捕获方法

    公开(公告)号:CN103440265A

    公开(公告)日:2013-12-11

    申请号:CN201310332312.8

    申请日:2013-08-01

    Applicant: 暨南大学

    Inventor: 邹先霞 李鹏 杜威

    Abstract: 本发明公开了一种基于MapReduce的MYSQL数据库的变化数据捕获方法,包括:(1)生成摘要的查询语句“select into outfile”,根据FIELDS子句设置标志位;将“select into outfile”从数据库查询得到的一行元组插入“属性值分隔符”;根据标志位值对“select into outfile”查询执行的结果生成摘要md5value和产生输出格式;将查询结果写到磁盘文件outfile;(2)采用Hadoop MapReduce并行框架求差分;从map端读入两个快照文件old.txt和new.txt,MapReduce的shuffle函数对Key/value结构中相同key的value值存入迭代器iterator,将reduce的输出文件合并成insert文件和delete文件,即CDC的结果。本发明对MYSQL中的查询语句从语法到实现上作了改进,使其一次查询数据库数据文件就能生成带摘要的快照文件,一个快照文件的生成就减少了一次I/O,连续多次的快照差分过程可以减少大量的I/O。

    一种云关系数据库的浮点数据的加密及查询方法

    公开(公告)号:CN106131139B

    公开(公告)日:2019-07-19

    申请号:CN201610477122.9

    申请日:2016-06-23

    Applicant: 暨南大学

    Abstract: 本发明公开的一种云关系数据库的浮点数据的加密及查询方法,包含以下步骤:一是将浮点数据的密文插入到云数据库:二是通过对存贮在云数据库的浮点数不解密的情况下进行SUM求和,先在云数据库上直接对加密后的属性值按正数和负数分类求和,未对属性值解密,保证了数据的安全性;其次由用户信任的数据库代理对云数据库上求和的结果进行解密和校正;最后为保证浮点计算精度,对解密后正数的和与负数的和采用浮点编码计算,解码后得到最终结果。本发明的方法,解决了云关系数据库浮点型的加密及加密数据上的求和计算能力,为云数据库的浮点型数据的安全性和高效查询提供了技术解决方法。

    基于MapReduce的MYSQL数据库的变化数据捕获方法

    公开(公告)号:CN103440265B

    公开(公告)日:2016-09-14

    申请号:CN201310332312.8

    申请日:2013-08-01

    Applicant: 暨南大学

    Inventor: 邹先霞 李鹏 杜威

    Abstract: 本发明公开了一种基于MapReduce的MYSQL数据库的变化数据捕获方法,包括:(1)生成摘要的查询语句“select into outfile”,根据FIELDS子句设置标志位;将“select into outfile”从数据库查询得到的一行元组插入“属性值分隔符”;根据标志位值对“select into outfile”查询执行的结果生成摘要md5value和产生输出格式;将查询结果写到磁盘文件outfile;(2)采用Hadoop MapReduce并行框架求差分;从map端读入两个快照文件old.txt和new.txt,MapReduce的shuffle函数对Key/value结构中相同key的value值存入迭代器iterator,将reduce的输出文件合并成insert文件和delete文件,即CDC的结果。本发明对MYSQL中的查询语句从语法到实现上作了改进,使其一次查询数据库数据文件就能生成带摘要的快照文件,一个快照文件的生成就减少了一次I/O,连续多次的快照差分过程可以减少大量的I/O。

    一种云关系数据库的浮点数据的加密及查询方法

    公开(公告)号:CN106131139A

    公开(公告)日:2016-11-16

    申请号:CN201610477122.9

    申请日:2016-06-23

    Applicant: 暨南大学

    Abstract: 本发明公开的一种云关系数据库的浮点数据的加密及查询方法,包含以下步骤:一是将浮点数据的密文插入到云数据库:二是通过对存贮在云数据库的浮点数不解密的情况下进行SUM求和,先在云数据库上直接对加密后的属性值按正数和负数分类求和,未对属性值解密,保证了数据的安全性;其次由用户信任的数据库代理对云数据库上求和的结果进行解密和校正;最后为保证浮点计算精度,对解密后正数的和与负数的和采用浮点编码计算,解码后得到最终结果。本发明的方法,解决了云关系数据库浮点型的加密及加密数据上的求和计算能力,为云数据库的浮点型数据的安全性和高效查询提供了技术解决方法。

Patent Agency Ranking