-
公开(公告)号：CN109710572B
公开(公告)日：2021-02-02
申请号：CN201811638552.X
申请日：2018-12-29
Applicant: 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种基于HBase的文件分片方法，属于计算机领域。首先从系统中读取对大文件分片的配置文件和按分片粒度进行读取的配置文件，对某个大文件进行分片。文件内容的写入读取按分片的顺序进行，通过多个并列线程将每个分片的内容以独立的键值存入HBase数据表中。同时将每个分片的元数据信息以新增列的方式存储在HBase元数据信息表中。然后若文件内容的写入读取是指定片，按照指定的分片编号写入读取文件内容；若文件内容的写入读取是随机读取，设定随机读取的字节开始位置和读取内容大小；最后当服务端异常导致写入或读取中断，在服务恢复后重新上传或读取断点的分片即可。本发明使大文件存储更加高效可靠，具有较强的实用性和适配性。
-
公开(公告)号：CN109710572A
公开(公告)日：2019-05-03
申请号：CN201811638552.X
申请日：2018-12-29
Applicant: 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种基于HBase的文件分片方法，属于计算机领域。首先从系统中读取对大文件分片的配置文件和按分片粒度进行读取的配置文件，对某个大文件进行分片。文件内容的写入读取按分片的顺序进行，通过多个并列线程将每个分片的内容以独立的键值存入HBase数据表中。同时将每个分片的元数据信息以新增列的方式存储在HBase元数据信息表中。然后若文件内容的写入读取是指定片，按照指定的分片编号写入读取文件内容；若文件内容的写入读取是随机读取，设定随机读取的字节开始位置和读取内容大小；最后当服务端异常导致写入或读取中断，在服务恢复后重新上传或读取断点的分片即可。本发明使大文件存储更加高效可靠，具有较强的实用性和适配性。
-
公开(公告)号：CN109726175A
公开(公告)日：2019-05-07
申请号：CN201811635129.4
申请日：2018-12-29
Applicant: 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种基于HBase的海量文件离线分区管理方法，属于计算机领域。首先用户创建自定义的存储桶，加载关于桶的分区规则配置；按照桶的分区规则，给用户即将写入的小文件设定存储分区表的名称；然后按照业务需求和HBase数据存储的规则，为用户即将写入的小文件设计指定在存储分区表中的Rowkey，以RowKey作为每个小文件的唯一标示，自动将小文件写入当前时间段下的该桶的存储分区表中。最后用户指定该存储逻辑单元-桶的数据存储空间配额和时间配额，系统根据空间配额和时间配额的限定定期对存储分区表的数据进行离线管理；同时系统离线预建下一时间段的存储分区表。本发明具有很强的实用性，具有很广泛的应用前景。
-
-
Search Results
3
records
(took 0.018 seconds)
