-
公开(公告)号:CN105068875A
公开(公告)日:2015-11-18
申请号:CN201510493727.2
申请日:2015-08-12
Applicant: 浪潮(北京)电子信息产业有限公司
Abstract: 本发明提供一种智能数据处理方法及装置,上述方法包括以下步骤:获取网络传输速率、磁盘读写速率、CPU利用率并分别与第一预设值、第二预设值、第三预设值进行比较,获取比较结果;根据比较结果,按照预设控制策略,控制所述硬件压缩卡对数据进行处理;采用独立的硬件压缩卡进行数据的解压缩处理,因此减轻了CPU的计算负担,使得CPU可以专注于处理运算相关的任务,提高大数据计算的执行效率。
-
公开(公告)号:CN104361091A
公开(公告)日:2015-02-18
申请号:CN201410658038.8
申请日:2014-11-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 提出一种大数据系统,所述系统包括大数据基础平台、共享资源库、可视化编辑与展示子系统、以及流程调度子系统。所述系统综合现有各种大数据处理系统,基于用户编辑生成的数据处理流程调度程序资源和数据资源提交特定的大数据处理系统执行数据处理,极大降低了大数据系统的使用门槛,并且使组织内部大数据相关资源能方便共享,数据处理流程可复用可继承。
-
公开(公告)号:CN104102701A
公开(公告)日:2014-10-15
申请号:CN201410321111.2
申请日:2014-07-07
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30309 , G06F17/30548
Abstract: 本发明提出一种基于hive的历史数据存档与查询方法,首先建立hive表,然后使用ETL工具导出源数据并验证,通过验证后将源数据导入hive表,以及基于Thrift接口从hive表中查询历史数据。本发明提出的所述方法能够向其它软件提供接口,并完成定制化历史数据导入和数据查询的功能。
-
公开(公告)号:CN103577937A
公开(公告)日:2014-02-12
申请号:CN201310574694.5
申请日:2013-11-15
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06Q10/06
Abstract: 本发明提供一种云计算系统中管理资源的方法和系统。所述方法,包括:为所述存在依赖关系的多个系统组成的一系列任务设置对应的资源回收规则,其中所述资源回收规则用于回收处理所述一系列任务过程中已产生的资源;接收所述一系列任务的处理请求;对所述一系列任务中的处理状态进行检测,按照任务的完成顺序,记录已处理完成的任务,缓存所述已完成的任务所产生的资源;当该任务处理过程中某个处理步骤失败时,根据所述一系列任务对应的资源回收原则,对已完成的任务所产生的资源进行回收操作。
-
公开(公告)号:CN103491178A
公开(公告)日:2014-01-01
申请号:CN201310449677.9
申请日:2013-09-27
Applicant: 浪潮(北京)电子信息产业有限公司
Abstract: 本发明公开了一种云数据中心自动选址方法及系统,该方法包括:根据云数据中心的选址标准建立云数据中心选址的数学模型;采用启发式搜索算法从当前已有的云数据中心待选地址中求得所述数学模型的解作为所述云数据中心的最佳建设地址。本发明的方法和系统通过建立数学模型,结合启发式搜索算法从当前已有的云数据中心待选地址中综合各种因素,自动识别出最佳的云数据中心建设地址。
-
公开(公告)号:CN103051687A
公开(公告)日:2013-04-17
申请号:CN201210530425.4
申请日:2012-12-10
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: H04L29/08
Abstract: 本发明披露了一种将应用业务部署到云存储虚拟机的系统及方法,其中系统包括通过网络连接的节点存储设备和与节点存储设备本地连接的移动存储设备,其中,在移动存储设备中写入要部署到远程服务设备的虚拟机中的应用业务及其数据;节点存储设备配置多个虚拟设备,将虚拟机磁盘镜像映射到一个虚拟设备;将连接的移动存储设备识别为本地硬盘的一个分区,并将该分区上的文件拷贝到相应的虚拟设备中。本发明用本地部署方式可避免因网络数据传输的延时和失败,使得应用业务部署的更加方便及可靠。
-
公开(公告)号:CN105488124A
公开(公告)日:2016-04-13
申请号:CN201510822336.0
申请日:2015-11-24
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F16/328
Abstract: 本发明公开了一种创建索引文件的方法及装置,该方法包括:根据数据规模以及业务需求,确定执行索引创建的线程数量;通过所述数据规模以及所述线程数量,确定各个线程分别负责进行索引的数据范围;各个线程分别创建对应数据范围的索引文件;将各个所述线程创建的所述索引文件进行合并,存储于一个索引目录中。本发明所提供的创建索引文件的方法及装置,采用多线程并行创建索引的方式,提高了索引的效率。
-
公开(公告)号:CN105404661A
公开(公告)日:2016-03-16
申请号:CN201510745257.4
申请日:2015-11-05
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F16/313
Abstract: 本发明公开了一种更新索引文件的方法及系统,该方法包括:获取新词库和索引文件中的历史数据;其中,所述历史数据包括多条索引数据;判断每条所述索引数据是否受所述新词库的影响;利用所述新词库,对受所述新词库影响的索引数据进行重新索引,并将重新索引后的索引数据更新至所述索引文件。本发明是对索引文件中受新词库影响的索引数据进行重新索引,并不是一味地对整个索引文件中的历史数据进行重新索引,以此实现了既能快速将新词库更新至索引文件又不会影响到全文检索系统的正常使用的目的。
-
公开(公告)号:CN104462236A
公开(公告)日:2015-03-25
申请号:CN201410648015.9
申请日:2014-11-14
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30979
Abstract: 提出一种基于大数据的伴随车辆识别方法和装置,基于用户输入的目标车辆的车牌号、查询开始时间和结束时间、以及跟车间隔,确定在所述开始时间和结束时间之间所述目标车辆所经过的每一卡口信息和对应的时间点,进而分析并识别所述目标车辆在所述开始时间至结束时间之间经过上述每一卡口时的伴随车辆。所述方法和装置分析占用时间短、识别结果准确,极大地提高了工作效率。
-
公开(公告)号:CN104036039A
公开(公告)日:2014-09-10
申请号:CN201410307198.8
申请日:2014-06-30
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30445
Abstract: 本发明公开了一种数据的并行处理方法,包括:一个或多个Map节点读取账户日志数据的分片数据,从分片数据中选出状态持续时间满足查询日期要求的候选数据记录,生成所选出的候选数据记录的第一输出参数和第二输出参数;第一输出参数至少包括账户ID,第二输出参数至少包括:状态开始日、状态结束日和状态值;一个或多个Reduce节点读取Map节点处理完的不同候选数据记录,根据候选数据记录的第一输出参数和第二输出参数分别生成各账户在查询日期范围内的完整历史状态记录;第一输出参数中账户ID相同的候选数据记录由同一个Reduce节点读取。本发明能提高大规模日志数据的处理效率。本发明还公开了一种数据的并行处理系统。
-
-
-
-
-
-
-
-
-