非结构化数据存储方法、装置、设备和计算机可读存储介质

    公开(公告)号:CN109656899A

    公开(公告)日:2019-04-19

    申请号:CN201811573992.1

    申请日:2018-12-21

    CPC classification number: G06F3/0643

    Abstract: 本发明公开了一种非结构化数据存储方法、装置、设备和计算机可读存储介质,一种非结构化数据存储方法包括:将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区,读取所述kvd文件头部,确定所述kvd文件的存储地址,依次读取所述kvd文件中的每个kv对并进行验证,若所述kvd文件中的每个kv对均通过验证,则将所述kvd文件存储于所述存储地址中。本发明公开的非结构化数据存储方法、装置、设备和计算机可读存储介质,用于提高非结构化数据的存储效率。

    一种基于IDA算法的网盘聚合方法

    公开(公告)号:CN109062501A

    公开(公告)日:2018-12-21

    申请号:CN201810731725.6

    申请日:2018-07-05

    Inventor: 许丽婷

    Abstract: 本发明提供了一种基于IDA算法的网盘聚合方法,包括上传和下载两个步骤,其中,上传步骤:利用IDA算法对上传到网盘聚合云服务器的用户数据文件进行分片处理,再由网盘聚合云服务器为每个数据分片创建分片副本,再将携带冗余信息的数据分片发送到QoS等级较高的各个网盘上;下载步骤:由网盘聚合客户端向网盘聚合云服务器发出文件读取请求,网盘聚合云服务器根据文件读取请求读取各个数据分片的保存位置,并根据保存位置从各个网盘中提取数据分片,再利用IDA算法将提取的数据分片重新恢复成用户数据文件,发回给网盘聚合客户端。该网盘聚合方法有利于提高用户数据存储在网盘上数据的可用性和安全性,有利于提高网盘的QoS,提高网盘使用的可靠性。

    基于硬盘和光盘混合存储系统的数据读写方法

    公开(公告)号:CN108958663A

    公开(公告)日:2018-12-07

    申请号:CN201810810983.3

    申请日:2018-07-23

    Inventor: 曹强 姚杰 刘逸麟

    CPC classification number: G06F3/0611 G06F3/0616 G06F3/0643 G06F3/0685

    Abstract: 本发明公开了一种基于硬盘和光盘混合存储系统的数据读写方法,包括一组不可原地更新的光盘和可原地更新的硬盘,硬盘与光盘全局统一编制文件逻辑地址;硬盘中存储有文件映射表,文件映射表中包含至少一条文件地址映射记录,文件地址映射记录包括文件编号,文件名,文件逻辑地址,与文件逻辑地址对应的文件物理地址,文件物理地址包括文件硬盘物理地址和文件光盘物理地址,对应文件的读次数,对应文件的写次数以及最近N次更新操作记录;本发明的有益效果为:频繁更新的文件或者文件的少量更新尽量保存在硬盘上,而把不更新或较少更新的文件迁移刻录到光盘上,从而减少光盘不必要的写次数、提高整体读写效率。

    一种大数据处理方法、装置和存储介质

    公开(公告)号:CN108491163A

    公开(公告)日:2018-09-04

    申请号:CN201810224585.3

    申请日:2018-03-19

    Inventor: 吴承 刘斌

    CPC classification number: G06F3/0629 G06F3/0643

    Abstract: 本发明实施例公开了一种大数据处理方法、装置和存储介质;本发明实施例在获取到携带目标文件标识和目标文件内容的数据写入请求后,可以根据该数据写入请求调用文件写入接口集合,并将使用的文件系统协议设置为对象存储协议,然后,根据该对象存储协议,从该文件写入接口集合中选择与该目标文件标识对应的文件写入接口,以及建立与云对象存储设备之间的连接,再然后,基于该连接,通过该目标写入接口,将目标文件内容以对象为存储单位存储在该云对象存储设备中;该方案不仅文件处理容量和存储数量大,而且可以大大提高灵活性和处理效率。

    一种分区分裂、删除分区中数据文件的方法、装置及系统

    公开(公告)号:CN107943412A

    公开(公告)日:2018-04-20

    申请号:CN201610891411.3

    申请日:2016-10-12

    Inventor: 杨恋 杨皓然 赵波

    Abstract: 本申请公开了一种分区分裂的方法、装置、一种删除分区中数据文件的方法、装置以及一种分区管理系统。其中,所述分区分裂的方法,包括:获取第一分区的数据文件;获取新建分区的数据文件;将所述新建分区的数据文件与所述第一分区的数据文件相链接,以创建所述新建分区与所述第一分区的链接关系。所述技术方案通过创建链接关系代替了现有的引用文件,解决了由于分区分裂时间与文件数有关,分裂过程比较繁琐,且分区分裂的效率低的问题;特别是如果用户请求突增时,通过新建分区与所述第一分区间创建链接关系,使得新建分区可以进行连续多次分裂。

    一种实时存储的方法及装置

    公开(公告)号:CN107870926A

    公开(公告)日:2018-04-03

    申请号:CN201610851380.9

    申请日:2016-09-26

    Inventor: 周翔

    CPC classification number: G06F17/30091 G06F3/0622 G06F3/0643 G06F3/0679

    Abstract: 本发明公开了一种实时存储的方法及装置。该方法包括:将YAFFS2移植到嵌入式操作系统;并实现YAFFS2文件的实时存储。本发明将YAFFS2移植在存储设备为NOR FLASH、非Linux操作系统的嵌入式系统中,YAFFS2是一种类日志文件系统,实现垃圾回收、损耗平衡等性能,可以在意外掉电重启后自动提供可靠的资料记录,防止文件系统的崩溃;能使用独立的日志文件跟踪文件系统内容的变化;当发生意外掉电重启后,YAFFS2选择用新文件完全代替旧的文件,或者已写部分使用新文件,未写部分使用旧文件,这种方式增强了掉电时未完全写入文件的安全性能。

Patent Agency Ranking