一种实现节点监控的方法及系统

    公开(公告)号:CN103701661B

    公开(公告)日:2017-08-25

    申请号:CN201310717518.2

    申请日:2013-12-23

    Abstract: 本申请公开了一种实现节点监控的方法及系统,包括:一个主服务器和在各数据节点上运行的相应独立的代理服务器;其中,主服务器与名称节点相连,并获取集群配置信息;基于心跳协议,下发状态指令和控制指令给代理服务器;接收代理服务器上传的节点状态信息,以更新集群配置信息;代理服务器,用于接收主服务器的状态指令及控制指令信息,根据状态指令获取数据节点状态信息,上传给主服务器;根据控制指令对数据节点的各组件进行工作状态控制,并将控制指令结果反馈给主服务器。本发明实现代理服务器接收主服务器的状态指令和控制指令信息,以获取数据节点状态信息、下发控制指令并反馈控制指令结果信息,实现对数据节点的监控管理。

    Hive中自制用户提取信息工具的方法和装置

    公开(公告)号:CN104239532A

    公开(公告)日:2014-12-24

    申请号:CN201410483891.0

    申请日:2014-09-19

    CPC classification number: G06F17/30442

    Abstract: 本发明提供了一种Hive中自制用户提取信息工具的方法和装置,包括编写新类,新类继承Hive中的用户自定义函数UDF类;根据用户自定义需求,在新类中重构evaluate函数,完成Hive中自制用户提取信息工具;将Hive中自制用户提取信息工具进行打包,并导入到目标分布式集群中;在Hive客户端上配置Hive中自制用户提取信息工具,并使用Hive中自制用户提取信息工具查询用户需要的数据。本发明能够满足用户的个性化查询,且能够提高用户查询的便利性。

    HBase数据备份恢复的方法和装置

    公开(公告)号:CN104199963A

    公开(公告)日:2014-12-10

    申请号:CN201410483014.3

    申请日:2014-09-19

    CPC classification number: G06F11/1458

    Abstract: 本发明提供了一种HBase数据备份恢复的方法和装置,包括:在HBase数据进行备份时,将HBase内存中的数据刷到HFile文件中;为HBase表结构下的每个Region中的每个HFile文件创建相应的引用文件,对每个HBase表的HFile文件进行备份;在HBase数据进行恢复时,若所需要恢复的数据是持久化数据,根据所需要恢复的数据对应的引用文件,进行持久化数据恢复;若所需要恢复的数据是内存数据,根据日志文件,对HBase内存数据进行恢复。本发明能够高效且完整地对HBase数据进行备份恢复。

    一种实现节点监控的方法及系统

    公开(公告)号:CN103701661A

    公开(公告)日:2014-04-02

    申请号:CN201310717518.2

    申请日:2013-12-23

    Abstract: 本申请公开了一种实现节点监控的方法及系统,包括:一个主服务器和在各数据节点上运行的相应独立的代理服务器;其中,主服务器与名称节点相连,并获取集群配置信息;基于心跳协议,下发状态指令和控制指令给代理服务器;接收代理服务器上传的节点状态信息,以更新集群配置信息;代理服务器,用于接收主服务器的状态指令及控制指令信息,根据状态指令获取数据节点状态信息,上传给主服务器;根据控制指令对数据节点的各组件进行工作状态控制,并将控制指令结果反馈给主服务器。本发明实现代理服务器接收主服务器的状态指令和控制指令信息,以获取数据节点状态信息、下发控制指令并反馈控制指令结果信息,实现对数据节点的监控管理。

    一种实现数据中心备份的方法和装置

    公开(公告)号:CN103761167B

    公开(公告)日:2017-04-05

    申请号:CN201410032550.1

    申请日:2014-01-23

    Abstract: 本发明提出了一种实现数据中心备份的方法和装置,包括:根据待备份的数据块所在表名和列族名,确定该数据块在目标数据中心中的存储范围;在确定的存储范围中选取一个数据节点存储数据块。本发明解决了Hbase跨数据中心数据备份时同一列族名的数据块存储分散的问题,使得备份到目标数据中心的同一列族名的数据块存储更加集中,从而提高了读取速度。

    HBase二级索引表的查询方法和装置

    公开(公告)号:CN104217011A

    公开(公告)日:2014-12-17

    申请号:CN201410483879.X

    申请日:2014-09-19

    CPC classification number: G06F17/30619 G06F17/30675

    Abstract: 本发明提供了一种HBase二级索引表的查询方法和装置,包括:判断HBase源表是否有对应的二级索引表,通过二级索引表查询HBase表的列中属性值;如果没有,根据HBase源表中的列族信息、列信息、列属性值及HBase源表中对应的Rowkey,创建与HBase源表对应的二级索引表,并同步HBase源表的数据到对应的二级索引表中;如果有,同步HBase源表的插入数据操作或删除数据操作到对应的二级索引表中。本发明通过二级索引表能够实现快速查询某列属性值中的所有记录信息,达到高效率查询的目的。

    一种基于Linux的读写锁优化方法和系统

    公开(公告)号:CN105224251B

    公开(公告)日:2018-09-25

    申请号:CN201510629053.4

    申请日:2015-09-28

    Inventor: 刘璧怡 周恒钊

    Abstract: 本发明公开了一种基于Linux的读写锁优化方法和系统,包括:接收加读锁申请或加写锁申请并判断读写锁之前是否处于被申请状态。没有处于被申请状态时,直接处理加读锁申请或加写锁申请。处于被申请状态并且已经被占用时,将加读写锁申请加入预设的读写等待队列中,并更新rwlock结构体中记录的读最高优先级或写最高优先级。当被占用的读写锁被释放时,判断读写等待队列中是否已有加读写锁申请等待;根据判断结果和读最高优先级以及写最高优先级,处理读等待队列中的加读锁申请以及写等待队列中的加写锁申请。通过本发明的方案,能够减少或者避免读者或者写者饿死的情况,提高了系统的资源利用率和系统并行处理性能。

    一种任务调度方法和装置

    公开(公告)号:CN103729246B

    公开(公告)日:2017-05-03

    申请号:CN201310750655.6

    申请日:2013-12-31

    Inventor: 刘璧怡

    Abstract: 本发明提出了一种任务调度方法,该方法包括:对用户的任意一个任务设置相应的CPU资源需求和内存资源需求,并预测该任务的完成时间;预测用户能够同时运行的任务数,使得YARN平台中每一个用户的支配份额比相同;根据用户的总任务数、预测的任务的完成时间和预测的用户能够同时运行的任务数计算作业完成的总时间;在预设的CPU资源需求范围和内存资源需求范围内,改变设置的CPU资源需求和内存资源需求,重复上述步骤,直到计算得到的作业完成的总时间最小。本发明能够降低用户在YARN平台提交作业时设置CPU资源需求和内存资源需求的主观偏差,从而缩短作业的完成时间,提供YARN平台的整体运行效率。

    一种面向关键应用的仲裁系统及方法

    公开(公告)号:CN104133744A

    公开(公告)日:2014-11-05

    申请号:CN201410377840.X

    申请日:2014-08-01

    Inventor: 周恒钊 刘璧怡

    Abstract: 本发明公开了一种面向关键应用的仲裁系统及方法,属于系统仲裁技术领域。本发明公开的仲裁系统,至少包括:自检测模块,利用系统自带的检测机制及故障检测算法,检测本节点的主机系统的自身故障,并将检测到的故障信息传送给所述仲裁管理模块;心跳检测模块,检测对端节点的状态信息,并检测到的其他节点的故障信息传送给所述仲裁管理模块;仲裁管理模块,根据所述自检测模块和心跳检测模块传送的故障信息,通过自身的仲裁算法对双机节点进行最终的表决。本发明还公开了一种面向关键应用的仲裁方法。本申请技术方案具有很高的故障覆盖率,满足了系统高可用性的要求。

Patent Agency Ranking