公开(公告)号：CN109710572A

公开(公告)日：2019-05-03

申请号：CN201811638552.X

申请日：2018-12-29

Applicant: 北京赛思信安技术股份有限公司

Inventor： 王振宇 ,  李斌斌 ,  苏连超

IPC: G06F16/13 ,  G06F16/16

Abstract: 本发明公开了一种基于HBase的文件分片方法，属于计算机领域。首先从系统中读取对大文件分片的配置文件和按分片粒度进行读取的配置文件，对某个大文件进行分片。文件内容的写入读取按分片的顺序进行，通过多个并列线程将每个分片的内容以独立的键值存入HBase数据表中。同时将每个分片的元数据信息以新增列的方式存储在HBase元数据信息表中。然后若文件内容的写入读取是指定片，按照指定的分片编号写入读取文件内容；若文件内容的写入读取是随机读取，设定随机读取的字节开始位置和读取内容大小；最后当服务端异常导致写入或读取中断，在服务恢复后重新上传或读取断点的分片即可。本发明使大文件存储更加高效可靠，具有较强的实用性和适配性。

公开(公告)号：CN105472024B

公开(公告)日：2018-09-28

申请号：CN201511001080.3

申请日：2015-12-28

Applicant: 北京赛思信安技术股份有限公司

Inventor： 王振宇 ,  周游

IPC: H04L29/08

Abstract: 本发明提供了一种基于消息推送模式的跨地域数据同步方法，用于实现对不同数据中心的数据进行异地备份和恢复，属于海量数据管理领域。本方法在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；针对不同的数据中心设置异地配置策略，设置需要同步的数据中心或数据中心的组合；底层传输采用HTTP协议和自定义序列化反序列化框架；最后基于消息组件实现数据的同步或更新、恢复以及移除，在实现时采用错误重试机制。本发明可实现消息的实时传递和处理，实现对一个点、多个点同时的数据推送、恢复和删除，确保更新、删除后的数据一致性，保证数据的跨地域同步的可靠性和安全性。

公开(公告)号：CN106101018A

公开(公告)日：2016-11-09

申请号：CN201610397801.5

申请日：2016-06-07

Applicant: 北京赛思信安技术股份有限公司

Inventor： 李斌斌 ,  王振宇 ,  郑彩娟 ,  刘利宏

IPC: H04L12/861 ,  H04L29/08

CPC classification number: H04L49/9047 ,  H04L67/1097 ,  H04L67/141 ,  H04L67/2842

Abstract: 本发明公开了一种面向分布式海量数据加载系统的可靠数据发送方法,消息结构包括消息头和消息体两部分构成；消息头包括：消息ID，消息类型和自定义消息。该消息可以通过http，https，TCP/IP或者其他类型的网络传输协议进行网络传输。接收终端可以根据消息头部的消息ID进行去重，验证等操作并且返回处理结果。按照本发明提供的方法，用户可以准确，有效的向分布式系统中发送数据。

公开(公告)号：CN105472024A

公开(公告)日：2016-04-06

申请号：CN201511001080.3

申请日：2015-12-28

Applicant: 北京赛思信安技术股份有限公司

Inventor： 王振宇 ,  周游

IPC: H04L29/08

CPC classification number: H04L67/1095 ,  H04L67/02 ,  H04L67/26

Abstract: 本发明提供了一种基于消息推送模式的跨地域数据同步方法，用于实现对不同数据中心的数据进行异地备份和恢复，属于海量数据管理领域。本方法在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；针对不同的数据中心设置异地配置策略，设置需要同步的数据中心或数据中心的组合；底层传输采用HTTP协议和自定义序列化反序列化框架；最后基于消息组件实现数据的同步或更新、恢复以及移除，在实现时采用错误重试机制。本发明可实现消息的实时传递和处理，实现对一个点、多个点同时的数据推送、恢复和删除，确保更新、删除后的数据一致性，保证数据的跨地域同步的可靠性和安全性。