-
公开(公告)号：CN104102701B
公开(公告)日：2017-10-13
申请号：CN201410321111.2
申请日：2014-07-07
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明提出一种基于hive的历史数据存档与查询方法，首先建立hive表，然后使用ETL工具导出源数据并验证，通过验证后将源数据导入hive表，以及基于Thrift接口从hive表中查询历史数据。本发明提出的所述方法能够向其它软件提供接口，并完成定制化历史数据导入和数据查询的功能。
-
公开(公告)号：CN104182502A
公开(公告)日：2014-12-03
申请号：CN201410406481.6
申请日：2014-08-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30563 , G06F17/30595
Abstract: 本发明提供一种数据抽取方法，应用于关系型数据库，所述方法包括：根据选取的数据表中某字段的值域分布，将所述数据表分成M个数据分区，所述字段的类型为数值型或者所述字段的值能够转换成数值；根据所述各数据分区的数据行数计算所述各数据分区的权重；根据所述各数据分区的权重为所述各数据分区分配线程数；所述各数据分区分配的各线程数的总和等于预设的总线程数N，其中M≤N；开启N个线程，按照所分配的线程数，分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区，动态分配各数据分区的线程数，解决了各线程分配数据不均匀的问题，提高了关系型数据的数据抽取效率。
-
公开(公告)号：CN104102702A
公开(公告)日：2014-10-15
申请号：CN201410321901.0
申请日：2014-07-07
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30289
Abstract: 本发明公开了一种实现软硬件结合的面向应用的大数据系统及方法，包括：硬件层、基础平台层、平台增强层；其中，硬件层，用于根据应用场景以及系统需求对硬件进行定制，并对基础平台层提供硬件支撑；基础平台层，用于根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；平台增强层，用于根据基础平台层选择的大数据平台提供相应的大数据平台工具；其中，应用场景为用户应用需求或用户应用场景。本申请的技术方案屏蔽了平台多样性对用户带来的选择和搭配的难度，并且充分利用了软硬件结合的优势以及结合大数据平台工具提高易用性，极大地提高了行业大数据应用的开发质量和效率。
-
公开(公告)号：CN105068875A
公开(公告)日：2015-11-18
申请号：CN201510493727.2
申请日：2015-08-12
Applicant: 浪潮(北京)电子信息产业有限公司
Abstract: 本发明提供一种智能数据处理方法及装置，上述方法包括以下步骤：获取网络传输速率、磁盘读写速率、CPU利用率并分别与第一预设值、第二预设值、第三预设值进行比较，获取比较结果；根据比较结果，按照预设控制策略，控制所述硬件压缩卡对数据进行处理；采用独立的硬件压缩卡进行数据的解压缩处理，因此减轻了CPU的计算负担，使得CPU可以专注于处理运算相关的任务，提高大数据计算的执行效率。
-
公开(公告)号：CN104361091A
公开(公告)日：2015-02-18
申请号：CN201410658038.8
申请日：2014-11-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 提出一种大数据系统，所述系统包括大数据基础平台、共享资源库、可视化编辑与展示子系统、以及流程调度子系统。所述系统综合现有各种大数据处理系统，基于用户编辑生成的数据处理流程调度程序资源和数据资源提交特定的大数据处理系统执行数据处理，极大降低了大数据系统的使用门槛，并且使组织内部大数据相关资源能方便共享，数据处理流程可复用可继承。
-
Patent Agency Ranking
公开(公告)号：CN104102701A
公开(公告)日：2014-10-15
申请号：CN201410321111.2
申请日：2014-07-07
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30309 , G06F17/30548
Abstract: 本发明提出一种基于hive的历史数据存档与查询方法，首先建立hive表，然后使用ETL工具导出源数据并验证，通过验证后将源数据导入hive表，以及基于Thrift接口从hive表中查询历史数据。本发明提出的所述方法能够向其它软件提供接口，并完成定制化历史数据导入和数据查询的功能。
-
公开(公告)号：CN104182502B
公开(公告)日：2017-10-27
申请号：CN201410406481.6
申请日：2014-08-18
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
Abstract: 本发明提供一种数据抽取方法，应用于关系型数据库，所述方法包括：根据选取的数据表中某字段的值域分布，将所述数据表分成M个数据分区，所述字段的类型为数值型或者所述字段的值能够转换成数值；根据所述各数据分区的数据行数计算所述各数据分区的权重；根据所述各数据分区的权重为所述各数据分区分配线程数；所述各数据分区分配的各线程数的总和等于预设的总线程数N，其中M≤N；开启N个线程，按照所分配的线程数，分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区，动态分配各数据分区的线程数，解决了各线程分配数据不均匀的问题，提高了关系型数据的数据抽取效率。
-
公开(公告)号：CN104504158A
公开(公告)日：2015-04-08
申请号：CN201510026026.8
申请日：2015-01-19
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F16/1847 , G06F16/24552
Abstract: 提出一种快速更新业务的内存缓存的方法和装置，基于读取的外部数据的缓存查找键值在内存缓存中进行查找，如果在所述内存缓存中查找到所述缓存查找键值，则根据内存缓存中存储的与所述缓存查找键值对应的原始数据和所述外部数据进行业务处理，处理完成后把结果更新至所述内存缓存中存储所述原始数据的位置，并将该位置对应的修改标记置为已修改。所述方法和装置减少了数据快速更新时数据库频繁地提交事务进行查询和更新的操作。
-
公开(公告)号：CN104036006A
公开(公告)日：2014-09-10
申请号：CN201410279863.7
申请日：2014-06-20
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F8/24
Abstract: 本发明公开了一种实现Windows下连接控制Hbase的方法及装置，包括：封装所有Thrift的应用程序编程接口(API)的访问接口的功能函数及获取Hadoop数据库(Hbase)元数据的函数；还包括：当用户访问Hbase时，建立HBase服务器(Server)与Hbase的连接；HBase Server将执行请求和执行的封装的功能函数及获取Hbase元数据的函数发往Hbase。本发明通过将连接和控制HBase的功能函数进行有效封装，使Windows下连接和控制HBase得到稳定，采用C#封装的功能函数可以进行移植，适用范围广。
-
公开(公告)号：CN105068875B
公开(公告)日：2018-09-07
申请号：CN201510493727.2
申请日：2015-08-12
Applicant: 浪潮(北京)电子信息产业有限公司
Abstract: 本发明提供一种智能数据处理方法及装置，上述方法包括以下步骤：获取网络传输速率、磁盘读写速率、CPU利用率并分别与第一预设值、第二预设值、第三预设值进行比较，获取比较结果；根据比较结果，按照预设控制策略，控制所述硬件压缩卡对数据进行处理；采用独立的硬件压缩卡进行数据的解压缩处理，因此减轻了CPU的计算负担，使得CPU可以专注于处理运算相关的任务，提高大数据计算的执行效率。
-
-
-
-
-
-
-
-
-
Search Results
11
records
(took 0.038 seconds)
