公开(公告)号：CN103020205B

公开(公告)日：2018-07-31

申请号：CN201210518038.9

申请日：2012-12-05

Applicant: 中科天玑数据科技股份有限公司

Inventor： 刘佳 ,  王锐坚 ,  查礼 ,  程学旗

IPC: G06F17/30

Abstract: 本发明公开了种分布式文件系统上基于硬件加速卡的压缩解压缩方法,属于分布式文件系统技术领域。该技术包括:客户端向数据节点写数据时,先将文件块进行分片,再经硬件加速卡对分片进行压缩,将压缩后的分片发送至数据节点;客户端从数据节点读取数据时,先从数据节点取回包含读取数据的各分片,调用硬件加速卡对各分片解压缩并组合,将组合后的数据发送至上层应用。上层应用可独立使用硬件加速卡以数据流的形式对数据进行压缩或解压缩。本发明提出的技术在分布式文件系统和上层应用中使用硬件加速卡,只需要很小的缓存就能实现数据压缩或解压缩,可以卸载传统压缩方法所消耗的大量CPU资源,并且对系统的用户而言完全透明。

公开(公告)号：CN106648934B

公开(公告)日：2019-12-03

申请号：CN201611228895.X

申请日：2016-12-27

Applicant: 中国科学院计算技术研究所 ,  中科天玑数据科技股份有限公司

Inventor： 程学旗 ,  欧陈庚 ,  郑天祺 ,  张敬亮 ,  靳小龙

IPC: G06F9/54 ,  G06F16/21

Abstract: 本发明公开了一种Impala与HBase之间的高效数据传输方法及系统。该方法包括：步骤1，将Impala发出的查询语句编译为查询指令，该查询指令的数量与HBase的Region的数量相同；步骤2，每个该查询指令对应查询该HBase的一个Region，所有该查询指令并行对该HBase进行查询，所获得的查询结果并行传输至一缓冲区；步骤3，以socket的方式，将该缓冲区中存储的数据传输至Impala。本发明具有较高的传输性能，且通过采用以socket传输二进制数据的方式，使得本发明在数据传输层，没有序列化以及反序列化的开销，不存在性能瓶颈，使得传输性能比JNI的传输方式更加高效。

公开(公告)号：CN108090222B

公开(公告)日：2020-07-07

申请号：CN201810011460.2

申请日：2018-01-05

Applicant: 中国科学院计算技术研究所 ,  中科天玑数据科技股份有限公司

Inventor： 程学旗 ,  罗远浩 ,  郑天祺 ,  何文婷 ,  余智华 ,  许洪波 ,  曹雷

IPC: G06F16/27

Abstract: 本发明公开了一种数据库集群节点间数据同步系统，涉及数据处理领域。所述系统包括配置单元、元数据存储单元、元数据判断单元、读写判断单元、Paxos同步单元、日志存储单元和日志重现单元。本发明解决了现有数据库同步方法中异步方式可能导致数据库集群数据不一致的问题，也解决了同步方式可能因为某个节点阻塞导致性能低下的问题；最后，本发明所述数据库集群节点间数据同步系统也支持不同方向的数据同步，没有只能将数据从主数据库同步到从数据库的限制。

公开(公告)号：CN108090222A

公开(公告)日：2018-05-29

申请号：CN201810011460.2

申请日：2018-01-05

Applicant: 中国科学院计算技术研究所 ,  中科天玑数据科技股份有限公司

Inventor： 程学旗 ,  罗远浩 ,  郑天祺 ,  何文婷 ,  余智华 ,  许洪波 ,  曹雷

IPC: G06F17/30

Abstract: 本发明公开了一种数据库集群节点间数据同步系统，涉及数据处理领域。所述系统包括配置单元、元数据存储单元、元数据判断单元、读写判断单元、Paxos同步单元、日志存储单元和日志重现单元。本发明解决了现有数据库同步方法中异步方式可能导致数据库集群数据不一致的问题，也解决了同步方式可能因为某个节点阻塞导致性能低下的问题；最后，本发明所述数据库集群节点间数据同步系统也支持不同方向的数据同步，没有只能将数据从主数据库同步到从数据库的限制。