一种基于HDFS的海量小文件存储优化方法

    公开(公告)号:CN110018997B

    公开(公告)日:2021-07-23

    申请号:CN201910175055.9

    申请日:2019-03-08

    Abstract: 一种基于HDFS的海量小文件存储优化方法,属于存储性能优化领域,包括:初始化、文件访问状况分析、小文件分类暂存、小文件合并存储及回溯。方法针对文件的历史访问日志信息,对文件访问状况进行分析,计算文件之间的相关度,形成文件关联性映射集。根据所形成的文件关联性映射集,对小文件进行分类暂存,将相关度高的小文件暂存在一起,同时考虑了小文件的大小分布。最终对暂存的小文件进行合并存储,将小文件的原件及副本进行删除,将合并形成的大文件存储到HDFS当中。方法将原本存储于HDFS中的海量小文件通过合并的方式进行重存储,充分考虑了小文件的相关性和小文件的大小分布,有效地降低了名称结点的内存开销,提高了HDFS对小文件的存取效率。

    一种基于HDFS的海量小文件存储优化方法

    公开(公告)号:CN110018997A

    公开(公告)日:2019-07-16

    申请号:CN201910175055.9

    申请日:2019-03-08

    Abstract: 一种基于HDFS的海量小文件存储优化方法,属于存储性能优化领域,包括:初始化、文件访问状况分析、小文件分类暂存、小文件合并存储及回溯。方法针对文件的历史访问日志信息,对文件访问状况进行分析,计算文件之间的相关度,形成文件关联性映射集。根据所形成的文件关联性映射集,对小文件进行分类暂存,将相关度高的小文件暂存在一起,同时考虑了小文件的大小分布。最终对暂存的小文件进行合并存储,将小文件的原件及副本进行删除,将合并形成的大文件存储到HDFS当中。方法将原本存储于HDFS中的海量小文件通过合并的方式进行重存储,充分考虑了小文件的相关性和小文件的大小分布,有效地降低了名称结点的内存开销,提高了HDFS对小文件的存取效率。

    一种二叉树型知识可视化编辑器及其编辑方法

    公开(公告)号:CN103955374A

    公开(公告)日:2014-07-30

    申请号:CN201410215782.0

    申请日:2014-05-21

    Abstract: 一种二叉树型可视化编辑器,包括知识编辑器和专家系统;知识编辑器用于编辑知识信息;将知识信息上传到服务器;专家系统用于接收用户输入的问题信息;根据问题信息调用服务器中已上传的知识并进行推理,生成推理结果;将推理结果以网页的形式的输出结果返回给用户。通过本发明,可十分方便快捷地完成具有分类检索表或称分类树型表示的各种具体求解策略的专家系统的开发。实现了专家人员的可视化搭建专家系统,大大简化了分类检索或病虫害诊断专家系统的开发周期。可以根据用户的需要定制相应的web界面,开发出个性化的知识服务系统。可将知识发布到Internet上;通过IE浏览器即可运行专家知识系统。

    基于4G网络的农业生产环境双模式视频监控装置

    公开(公告)号:CN204069206U

    公开(公告)日:2014-12-31

    申请号:CN201420535260.4

    申请日:2014-09-17

    Abstract: 本实用新型公开了一种基于4G网络的农业生产环境双模式视频监控装置,涉及视频监控技术领域。包括:控制指令编辑发送设备、开源硬件平台、视频采集系统、视频服务器、视频接收设备和电源;所述控制指令编辑发送设备、所述视频采集系统均与所述开源硬件平台相连,所述开源硬件平台通过4G网络与所述视频服务器相连,所述视频服务器与所述视频接收设备通过互联网相连;所述视频服务器包括实时图像视频服务器和非实时图像视频服务器;所述电源为所述开源硬件平台和所述视频采集系统供电。实现了对视频采集系统的远程控制以及视频数据的异步无线传输,同时,满足了供电充足和供电不足的农业生产环境的需求,进而实现了对农业生产环境的视频监控。

Patent Agency Ranking