查找HBase表列值中所有行的方法和装置

    公开(公告)号:CN104239576A

    公开(公告)日:2014-12-24

    申请号:CN201410528432.X

    申请日:2014-10-09

    CPC classification number: G06F17/30339 G06F17/30315 G06F17/30519

    Abstract: 本发明提供了一种查找HBase表列值中所有行的方法和装置,包括:编写协处理器实现的索引列表;获取协处理器实现的地址;定义表描述符,将协处理器定义添加到表描述符中;创建集群的管理应用程序编程接口API,并将API添加到HBase表中;将HBase表的列值在索引列表中设置相应的对应关系,通过索引列表查找相应的列值中的所有行。本发明利用HBase中协处理器的Observer类型接口,通过将表中的列值在索引列表中设置相应的对应关系,在查找相应的特定列值中所有行的时候可以通过索引列表快速定位,并返回满足用户需求的查询结果,保证了时间效率,同时提升了性能。

    Hive中自制用户提取信息工具的方法和装置

    公开(公告)号:CN104239532A

    公开(公告)日:2014-12-24

    申请号:CN201410483891.0

    申请日:2014-09-19

    CPC classification number: G06F17/30442

    Abstract: 本发明提供了一种Hive中自制用户提取信息工具的方法和装置,包括编写新类,新类继承Hive中的用户自定义函数UDF类;根据用户自定义需求,在新类中重构evaluate函数,完成Hive中自制用户提取信息工具;将Hive中自制用户提取信息工具进行打包,并导入到目标分布式集群中;在Hive客户端上配置Hive中自制用户提取信息工具,并使用Hive中自制用户提取信息工具查询用户需要的数据。本发明能够满足用户的个性化查询,且能够提高用户查询的便利性。

    HBase数据备份恢复的方法和装置

    公开(公告)号:CN104199963A

    公开(公告)日:2014-12-10

    申请号:CN201410483014.3

    申请日:2014-09-19

    CPC classification number: G06F11/1458

    Abstract: 本发明提供了一种HBase数据备份恢复的方法和装置,包括:在HBase数据进行备份时,将HBase内存中的数据刷到HFile文件中;为HBase表结构下的每个Region中的每个HFile文件创建相应的引用文件,对每个HBase表的HFile文件进行备份;在HBase数据进行恢复时,若所需要恢复的数据是持久化数据,根据所需要恢复的数据对应的引用文件,进行持久化数据恢复;若所需要恢复的数据是内存数据,根据日志文件,对HBase内存数据进行恢复。本发明能够高效且完整地对HBase数据进行备份恢复。

    一种非易失性闪存的擦写管理方法及系统

    公开(公告)号:CN104156317A

    公开(公告)日:2014-11-19

    申请号:CN201410390138.7

    申请日:2014-08-08

    Inventor: 郭美思 吴楠

    Abstract: 本发明公开了一种非易失性Flash的擦写管理方法及系统,涉及Flash擦写技术。本发明公开的方法,包括:按照闪存地址将闪存划分为若干个相同大小的存储区域;根据每个存储区域的写操作次数统计各存储区域的热度权值;当收到针对某一存储区域的写请求时,确定该存储区域在所有存储区域的热度权值排序中属于预设的热数据区域范围,则将该写请求的数据写入到热数据区域范围以外的任一存储区域中,否则,将该写请求的数据直接写入到该存储区域中。本发明还公开了一种非易失性闪存的擦写管理系统。本申请技术方案采用分层机制来对Flash擦写进行管理,保证了非易失性Flash介质损耗均衡,提高了垃圾回收的效率,延长了介质的使用寿命。

    一种Hadoop集群批处理作业的方法及系统

    公开(公告)号:CN104156316A

    公开(公告)日:2014-11-19

    申请号:CN201410384390.7

    申请日:2014-08-06

    Inventor: 郭美思 吴楠

    Abstract: 本发明公开了一种Hadoop集群中批处理作业的方案,涉及Hadoop集群批处理作业技术。本发明公开的方法,包括:构建一个混合异构内存的硬件平台,在该硬件平台中部署Hadoop集群,其中,所构建的硬件平台中混合异构内存采用非易失性存储介质与动态随机存取存储器(DRAM)的混合;当在硬件平台上进行Hadoop集群批处理作业时,将Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中;在Map阶段,将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中,在Reduce阶段,从所述非易失性存储介质中读取中间结果进行处理。本发明还公开了一种Hadoop集群系统。本申请技术方案提高了Hadoop集群批处理作业的效率。

    一种异构内存管理方法及装置

    公开(公告)号:CN104102590A

    公开(公告)日:2014-10-15

    申请号:CN201410350393.9

    申请日:2014-07-22

    Abstract: 本发明公开了一种异构内存管理方法及装置,包括当进程被创建且有内存请求时,根据内存请求中携带的标识确定申请的内存类型;按照确定的内存类型分配相应的内存。通过本发明提供的技术方案,既保证系统级进程分配到了速度较快的DRAM内存进行数据处理,而且,针对大数据处理的进程也合理地放在了NVM内存中运行。通过本发明提供的技术方案,实现了不同类型的内存进行特定类型的数据处理,从而大大降低了由于DRAM内存和NVM内存访存速度差异而带来的对数据处理的影响。另一方面,本发明回收分配的NVM内存时,采用延迟回收的机制,增大了大数据处理进程访存的等待时间,从而避免了对于访问DRAM内存和NVM内存可能造成的死锁问题。

    一种实现节点监控的方法及系统

    公开(公告)号:CN103701661A

    公开(公告)日:2014-04-02

    申请号:CN201310717518.2

    申请日:2013-12-23

    Abstract: 本申请公开了一种实现节点监控的方法及系统,包括:一个主服务器和在各数据节点上运行的相应独立的代理服务器;其中,主服务器与名称节点相连,并获取集群配置信息;基于心跳协议,下发状态指令和控制指令给代理服务器;接收代理服务器上传的节点状态信息,以更新集群配置信息;代理服务器,用于接收主服务器的状态指令及控制指令信息,根据状态指令获取数据节点状态信息,上传给主服务器;根据控制指令对数据节点的各组件进行工作状态控制,并将控制指令结果反馈给主服务器。本发明实现代理服务器接收主服务器的状态指令和控制指令信息,以获取数据节点状态信息、下发控制指令并反馈控制指令结果信息,实现对数据节点的监控管理。

    一种基于仲裁盘机制的双机热备方法

    公开(公告)号:CN103593266A

    公开(公告)日:2014-02-19

    申请号:CN201310560287.9

    申请日:2013-11-12

    Abstract: 本发明提供一种基于仲裁盘机制的双机热备方法,用于实现多个服务器之间的备份,所述多个服务器通过竞争获得对存储节点上的仲裁区的控制权,成功获得仲裁区控制权的服务器成为活动服务器,其它节点成为备份服务器;所述活动服务器定时更新心跳值,所述备份服务器定时读取心跳值,如果在一段时间内所述心跳值不发生变化则确定所述活动服务器宕机,所述备份服务器再次竞争对仲裁区的控制权,确定新的活动服务器。所述方法能够准确判断活动服务器的工作状态,避免误判以及脑裂情况的发生,保证服务的连续性。

    一种虚拟机集群系统及其实现方法

    公开(公告)号:CN102110071A

    公开(公告)日:2011-06-29

    申请号:CN201110051817.8

    申请日:2011-03-04

    Inventor: 熊坤 吴楠

    Abstract: 本发明公开了一种虚拟机集群系统及其实现方法,以克服当前集群系统成本高昂的缺陷。该虚拟机集群系统构建在多个物理服务器上,在该些物理服务器上运行虚拟机以提供多个虚拟计算节点,该些虚拟计算节点分为一个管理节点及多个计算节点,其中:该管理节点,用于创建一个管理库以记录每个计算节点的主机名及动态IP地址,根据该些主机名及动态IP地址,对整个虚拟机集群系统进行管理;该些计算节点,用于完成该虚拟机集群系统的计算任务。本发明的技术方案采用虚拟机来搭建集群系统,减少了物理服务器的使用数量,降低了集群系统的成本。

    一种系统休眠的方法及装置

    公开(公告)号:CN105739982B

    公开(公告)日:2019-05-10

    申请号:CN201610066191.0

    申请日:2016-01-29

    Inventor: 刘长生 吴楠

    Abstract: 本发明公开了一种系统休眠的方法及装置,该方法包括:计算所需申请的内存数;根据计算得到的所述内存数,从非易失性内存中划分出对应的预设数量的物理内存;将所述非易失性内存中划分出的物理内存转换为块设备;使用新生成的所述块设备代替磁盘进行存储内部镜像,用于非易失性内存的系统休眠。本发明所提供的系统休眠的方法及装置在系统休眠时,系统会将需要保存的数据按照原有的流程保存到由内存转换成的块设备中,取代了原先的磁盘,由于从内存中读取数据要远比从磁盘中读取数据快,从而缩短了系统唤醒的时间,提高了用户体验以及工作效率。

Patent Agency Ranking