公开(公告)号：CN105631003A

公开(公告)日：2016-06-01

申请号：CN201511001092.6

申请日：2015-12-28

Applicant: 北京赛思信安技术股份有限公司

Inventor： 李斌斌 ,  周游

IPC: G06F17/30

CPC classification number: G06F17/30321 ,  G06F17/30289 ,  G06F17/30424

Abstract: 本发明提供了一种支持海量数据分组统计的智能索引构建、查询及维护方法，属于大数据处理技术领域。本方法建立了智能索引的数据组织结构，以使智能索引支持海量数据分组统计；智能索引的数据组织结构包括索引元数据和索引数据，索引元数据是创建索引的依据，包括分组列簇和统计列簇，索引数据是对原始数据构建的索引。本方法在写入数据时在内存中实时创建智能索引，利用智能索引进行分组统计的操作，也可快捷对智能索引进行删除。本发明实现了对海量数据的实时自动创建索引，在对海量数据进行分组统计时极大降低了磁盘I/O和计算时间，从而大幅提高了分组统计效率，并实现了对索引数据全生命周期的自动管理。

公开(公告)号：CN105472024B

公开(公告)日：2018-09-28

申请号：CN201511001080.3

申请日：2015-12-28

Applicant: 北京赛思信安技术股份有限公司

Inventor： 王振宇 ,  周游

IPC: H04L29/08

Abstract: 本发明提供了一种基于消息推送模式的跨地域数据同步方法，用于实现对不同数据中心的数据进行异地备份和恢复，属于海量数据管理领域。本方法在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；针对不同的数据中心设置异地配置策略，设置需要同步的数据中心或数据中心的组合；底层传输采用HTTP协议和自定义序列化反序列化框架；最后基于消息组件实现数据的同步或更新、恢复以及移除，在实现时采用错误重试机制。本发明可实现消息的实时传递和处理，实现对一个点、多个点同时的数据推送、恢复和删除，确保更新、删除后的数据一致性，保证数据的跨地域同步的可靠性和安全性。

公开(公告)号：CN105472024A

公开(公告)日：2016-04-06

申请号：CN201511001080.3

申请日：2015-12-28

Applicant: 北京赛思信安技术股份有限公司

Inventor： 王振宇 ,  周游

IPC: H04L29/08

CPC classification number: H04L67/1095 ,  H04L67/02 ,  H04L67/26

Abstract: 本发明提供了一种基于消息推送模式的跨地域数据同步方法，用于实现对不同数据中心的数据进行异地备份和恢复，属于海量数据管理领域。本方法在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；针对不同的数据中心设置异地配置策略，设置需要同步的数据中心或数据中心的组合；底层传输采用HTTP协议和自定义序列化反序列化框架；最后基于消息组件实现数据的同步或更新、恢复以及移除，在实现时采用错误重试机制。本发明可实现消息的实时传递和处理，实现对一个点、多个点同时的数据推送、恢复和删除，确保更新、删除后的数据一致性，保证数据的跨地域同步的可靠性和安全性。