-
公开(公告)号：CN104239542A
公开(公告)日：2014-12-24
申请号：CN201410488046.2
申请日：2014-09-22
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30203 , G06F17/30578
Abstract: 本发明披露了源分布式数据库捕获数据的系统及方法，其中方法包括：当区域服务器开始保存记录时，将内存缓存中的数据刷新到分布式文件系统的文件里，然后针对所有要保存记录的分布式文件系统的文件创建相应链接的引用文件，并将引用文件存储到标记为本服务器的文件集合中。本发明用这样的保存记录方式，能够让用户在不同阶段均能对源分布式数据库进行捕获数据的操作，从而放心使用源分布式数据库信息记录的数据。
-
公开(公告)号：CN104239530A
公开(公告)日：2014-12-24
申请号：CN201410483073.0
申请日：2014-09-19
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30675 , G06F17/30144 , G06F17/30194 , G06F17/30657
Abstract: 本发明提供了一种并发查询HBase表的方法和装置，包括：设置查询HBase服务端程序；设置并发查询程序；采用并发查询程序调用查询HBase服务端程序，并发查询HBase表。本发明通过并发查询程序调用查询HBase服务端程序的方法，实现并发查询HBase表，能够减少与HBase服务端重复连接的开销，提高系统应对并发访问时的效率，同时实现了对数据的缓存，从而有更快的响应速度，提高了并发查询的效率。
-
公开(公告)号：CN104239529A
公开(公告)日：2014-12-24
申请号：CN201410482327.7
申请日：2014-09-19
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30306
Abstract: 本发明提供了一种防止Hive数据倾斜的方法和装置，包括：根据需要处理的表的规模及特性，设置Map数量和Reduce数量；在Map端设置聚合函数和负载均衡参数；根据应用场景特点及表的特性，利用聚合函数和负载均衡参数，进行SQL编写，对数据进行负载均衡。本发明通过调整底层MapReduce资源分配方式和根据应用场景特性及表的特性合理编写SQL语句达到倾斜数据能被分配到不同的Reduce上，从而防止数据倾斜。
-
公开(公告)号：CN104217020A
公开(公告)日：2014-12-17
申请号：CN201410497600.3
申请日：2014-09-25
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30864 , G06F17/30705
Abstract: 本发明公开了一种基于MapReduce框架的网页聚类方法和系统，应用于Hadoop集群中的MapReduce框架，所述MapReduce框架包括Map模块和Reduce模块，通过MapReduce框架中的Map模块和Reduce模块进行网页聚类，能够充分利用多台机器的硬件资源，可以达到较快的执行速度，缩短了网页聚类的时间，提高了处理性能。
-
公开(公告)号：CN104182506A
公开(公告)日：2014-12-03
申请号：CN201410409927.0
申请日：2014-08-19
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30097 , G06F17/30132 , G06F17/30144 , G06F17/30191
Abstract: 本发明提供了一种日志管理方法。涉及计算机应用领域；解决了分布式存储管理日志数据的问题。该方法包括：收集流量日志和点击日志；对收集得到的日志进行预处理；分布式存储预处理后的日志。本发明提供的技术方案适用于数据挖掘，实现了基于HDFS架构的日志文件分布式存储。
-
Patent Agency Ranking
公开(公告)号：CN103530369A
公开(公告)日：2014-01-22
申请号：CN201310478890.2
申请日：2013-10-14
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30887
Abstract: 本发明公开了一种去重方法，包括：获取存储于Hadoop集群系统中的任意一个或多个节点中，或者分布于任意网络资源中的URL数据；按照Hadoop集群系统的映射框架中所指定的输入类格式，对获得的URL数据进行映射处理；按照Hadoop集群系统中的归约框架中所指定的类格式，对映射处理的结果进行归约处理，归约处理的结果为对URL去重的结果；其中映射处理在Hadoop集群系统的一个或多个节点中执行，归约处理在Hadoop集群系统的一个或多个节点中执行，映射处理和归约处理分别在Hadoop集群系统的一个或多个节点中并发、或顺序执行。
-
公开(公告)号：CN103701661B
公开(公告)日：2017-08-25
申请号：CN201310717518.2
申请日：2013-12-23
Applicant: 浪潮(北京)电子信息产业有限公司
Abstract: 本申请公开了一种实现节点监控的方法及系统，包括：一个主服务器和在各数据节点上运行的相应独立的代理服务器；其中，主服务器与名称节点相连，并获取集群配置信息；基于心跳协议，下发状态指令和控制指令给代理服务器；接收代理服务器上传的节点状态信息，以更新集群配置信息；代理服务器，用于接收主服务器的状态指令及控制指令信息，根据状态指令获取数据节点状态信息，上传给主服务器；根据控制指令对数据节点的各组件进行工作状态控制，并将控制指令结果反馈给主服务器。本发明实现代理服务器接收主服务器的状态指令和控制指令信息，以获取数据节点状态信息、下发控制指令并反馈控制指令结果信息，实现对数据节点的监控管理。
-
公开(公告)号：CN104239154B
公开(公告)日：2017-08-11
申请号：CN201410528405.2
申请日：2014-10-09
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F9/50
Abstract: 本发明公开了一种Hadoop集群中的作业调度方法和作业调度器，根据作业的优先级、提交时间和任务运行数对Hadoop集群中的作业进行评价，并根据评价结果自适应地选择作业，缩短了优先级较高的小作业的等待时间，保证了对优先级高的小作业的公平性，同时缩短了多作业的整体运行时间，避免了局部最优的出现，提高了作业调度的适应性和调度合理性，改善了Hadoop集群处理任务的效率和整体性能。
-
公开(公告)号：CN104156316B
公开(公告)日：2017-04-05
申请号：CN201410384390.7
申请日：2014-08-06
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F12/02
Abstract: 本发明公开了一种Hadoop集群中批处理作业的方案，涉及Hadoop集群批处理作业技术。本发明公开的方法，包括：构建一个混合异构内存的硬件平台，在该硬件平台中部署Hadoop集群，其中，所构建的硬件平台中混合异构内存采用非易失性存储介质与动态随机存取存储器(DRAM)的混合；当在硬件平台上进行Hadoop集群批处理作业时，将Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中；在Map阶段，将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中，在Reduce阶段，从所述非易失性存储介质中读取中间结果进行处理。本发明还公开了一种Hadoop集群系统。本申请技术方案提高了Hadoop集群批处理作业的效率。
-
公开(公告)号：CN106209427A
公开(公告)日：2016-12-07
申请号：CN201610491112.0
申请日：2016-06-28
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: H04L12/24
CPC classification number: H04L41/0672 , H04L41/064 , H04L41/069
Abstract: 本发明公开了一种基于linux中Apache服务错误处理方法及系统，包括：分析Apache服务事件源中错误事件的事件类型；统计每种事件类型的发生次数；检测在第一预定时长内是否存在发生次数大于N的事件类型；若存在，则将所述发生次数大于N的事件类型所对应的错误事件，标记为Apache服务故障格式事件；判断所述Apache服务故障格式事件的事件类型是否为http服务器错误；若是，则重启http服务器；可见，将Apache服务错误事件进行分类并处理，当Apache服务错误事件为http服务器错误时，通过重启HTTP服务，从而防止因Apache服务发生错误导致Web站点无法正常使用的现象。
-
-
-
-
-
-
-
-
-
Search Results
75
records
(took 0.028 seconds)
