一种基于Hadoop的小文件分级索引的存储优化方法

    公开(公告)号:CN105183839A

    公开(公告)日:2015-12-23

    申请号:CN201510557719.X

    申请日:2015-09-02

    Inventor: 戴彬 王雄 张焜

    CPC classification number: G06F17/30336 G06F17/30283

    Abstract: 本发明公开了一种基于hadoop的小文件分级索引的存储优化方法,能够向HDFS文件系统上传海量小文件和提高存储在HDFS系统中的小文件索引效率。主要包括以下步骤:(1)WebServer监听文件读写请求,判断文件的大小是否小于HDFS文件系统设置的块大小;(2)大于块的大小的文件按照正常HDFS文件进行读取或写入,小于块的大小的文件被划分为小文件,送入小文件处理服务器进行处理;(3)在小文件处理服务器内部,设有一个判断模块,将1~1023KB的小文件设置为K级小文件,将1M~64M的小文件设置为M级小文件;(4)在小文件处理服务器还设有缓存,可根据文件相关性,在文件分离时预取一部分小文件,并设计缓存更新策略,来提高文件访问效率。

    一种轻量级消息中间件的实现方法与系统

    公开(公告)号:CN105338061B

    公开(公告)日:2019-04-23

    申请号:CN201510631625.2

    申请日:2015-09-29

    Inventor: 戴彬 张焜

    Abstract: 本发明公开了一种轻量级消息中间件的实现方法,能够用于软件系统中各个模块之间的消息交互通信,以实现松耦合系统架构的目的。本发明方法包括:消息发送端消息的生产和发送;消息服务器对消息的接收以及持久化过程;消息服务器根据特定的负载均衡方案来选择消息接收端集群中的一台机器来完成该消息的消费,并通过特定框架来实现消息向该台机器的定向发送过程;消息接收端对消息的接收和处理过程。

    一种轻量级消息中间件的实现方法与系统

    公开(公告)号:CN105338061A

    公开(公告)日:2016-02-17

    申请号:CN201510631625.2

    申请日:2015-09-29

    Inventor: 戴彬 张焜

    Abstract: 本发明公开了一种轻量级消息中间件的实现方法,能够用于软件系统中各个模块之间的消息交互通信,以实现松耦合系统架构的目的。本发明方法包括:消息发送端消息的生产和发送;消息服务器对消息的接收以及持久化过程;消息服务器根据特定的负载均衡方案来选择消息接收端集群中的一台机器来完成该消息的消费,并通过特定框架来实现消息向该台机器的定向发送过程;消息接收端对消息的接收和处理过程。

Patent Agency Ranking