一种智能数据处理方法及装置

    公开(公告)号:CN105068875B

    公开(公告)日:2018-09-07

    申请号:CN201510493727.2

    申请日:2015-08-12

    Abstract: 本发明提供一种智能数据处理方法及装置,上述方法包括以下步骤:获取网络传输速率、磁盘读写速率、CPU利用率并分别与第一预设值、第二预设值、第三预设值进行比较,获取比较结果;根据比较结果,按照预设控制策略,控制所述硬件压缩卡对数据进行处理;采用独立的硬件压缩卡进行数据的解压缩处理,因此减轻了CPU的计算负担,使得CPU可以专注于处理运算相关的任务,提高大数据计算的执行效率。

    一种账户余额数据的并行处理方法和系统

    公开(公告)号:CN104050291B

    公开(公告)日:2017-11-10

    申请号:CN201410306448.6

    申请日:2014-06-30

    Abstract: 本发明公开了一种账户余额数据的并行处理方法,该方法包括:一个或多个执行第一任务的Map节点读取账户余额明细数据的不同分片数据,生成所读取的分片数据中每一条余额记录的第一输出参数和第二输出参数;其中,所述第一输出参数至少包括账户ID,所述第二输出参数设定为账户状态信息,所述账户状态信息至少包括:余额值、交易日期和当天交易序号;一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录,根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录;其中,第一输出参数相同的余额记录由同一个Reduce节点读取。本发明能够快速获取大数据量下的帐户日均余额的统计结果。本发明还公开了一种账户余额数据的并行处理系统。

    一种账户余额数据的并行处理方法和系统

    公开(公告)号:CN104050291A

    公开(公告)日:2014-09-17

    申请号:CN201410306448.6

    申请日:2014-06-30

    CPC classification number: G06F17/30445 G06F17/30318

    Abstract: 本发明公开了一种账户余额数据的并行处理方法,该方法包括:一个或多个执行第一任务的Map节点读取账户余额明细数据的不同分片数据,生成所读取的分片数据中每一条余额记录的第一输出参数和第二输出参数;其中,所述第一输出参数至少包括账户ID,所述第二输出参数设定为账户状态信息,所述账户状态信息至少包括:余额值、交易日期和当天交易序号;一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录,根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录;其中,第一输出参数相同的余额记录由同一个Reduce节点读取。本发明能够快速获取大数据量下的帐户日均余额的统计结果。本发明还公开了一种账户余额数据的并行处理系统。

    一种实现Hadoop文件处理的方法及装置

    公开(公告)号:CN103970874A

    公开(公告)日:2014-08-06

    申请号:CN201410203430.3

    申请日:2014-05-14

    CPC classification number: G06F17/30666 G06F17/30194

    Abstract: 本发明公开了一种实现Hadoop文件处理的方法及装置,包括:读取需要处理的分布式文件系统(Hadoop)的文本文件;逐行提取文本文件并转换为映射(Map)规约(Reduce)接受的数据类型的内容;逐行读取转换后的文本文件内容,以确定是否进行断行处理。本发明通过将读取的文本文件直接转换为MapReduce接受的数据类型的内容,逐行的对处理为断行的内容进行确定,节省了预处理过程中删除CR造成的耗时,且不需要额外占用磁盘空间。

    一种云数据中心中审批流程管理方法及系统

    公开(公告)号:CN103761617A

    公开(公告)日:2014-04-30

    申请号:CN201410031179.7

    申请日:2014-01-22

    Abstract: 本发明提供一种云数据中心中审批流程管理方法及系统,应用于云海操作系统中业务审批领域:上述方法包括以下步骤:用户登录系统后,从服务器中查找获得流程中的节点信息;所述服务器根据所述流程的状态及操作类型,按照预设策略,对所述流程进行控制处理。通过实施本发明的技术方案,针对流程的操作进行了有效的逻辑处理,使得对流程的编辑等操作之后不影响业务系统的使用,并保证了业务数据的正确性。

    一种压缩策略选择方法及装置

    公开(公告)号:CN105302494B

    公开(公告)日:2019-06-18

    申请号:CN201510802655.5

    申请日:2015-11-19

    Abstract: 本发明实施例公开了一种压缩策略选择方法及装置,包括:接收数据压缩信息;其中,所述数据压缩信息中携带待压缩数据的数据量信息;根据所述待压缩数据的数据量信息,确定所述待压缩数据的处理场景信息;根据所述待压缩数据的数据量信息和所述待压缩数据的处理场景信息,确定所述待压缩数据的压缩策略,可见,在本实施例中根据用户待压缩数据的数据量信息及用户的实际处理场景,能帮用户选择适合的压缩策略,从而使每个用户都根据自己的实际情况,选择最合适的、性价比最高的压缩策略。

    一种面向大数据处理的数据处理方法和装置

    公开(公告)号:CN104008153B

    公开(公告)日:2017-09-26

    申请号:CN201410217394.6

    申请日:2014-05-21

    Abstract: 本发明公开了一种面向大数据的数据处理方法和装置,该方法包括:获取处理环境数据及负载场景数据;选择处理环境数据及负载场景数据对应的压缩方式;根据所选择的压缩方式对数据进行处理;处理环境数据包括网络传输的性能指标和磁盘的性能指标;负载场景数据包括读操作比例和写操作比例,读操作比例与写操作比例相加为1。本发明能够指导在不同运行环境、不同负载场景下的压缩方式的选择,优化大数据处理性能。

    云操作系统中计算物理资源节点负载评价的方法及装置

    公开(公告)号:CN103399799B

    公开(公告)日:2017-02-22

    申请号:CN201310325973.8

    申请日:2013-07-30

    Inventor: 郭锋 赵仁明 于辉

    Abstract: 本发明公开了一种操作系统中计算物理资源节点负载评价的方法及装置,其中,所述方法包括:建立至少两组计算物理资源节点负载的数据模型,所述数据模型中的每个特征向量包括资源负载类型及其加权系数,所述资源负载类型包括处理器、内寸、带宽和/或磁盘;选择至少两组数据模型,根据所述两组数据模型中的特征向量计算马氏距离,按照计算结果给出当前物理资源节点的负载评价。本发明的方法和装置综合考虑了物理资源节点上各种负载的影响,通过改变加权因子动态调整关键负载分量对于负载评价的影响,并且通过对负载的评价,可以定位负载最优的虚拟资源宿主机,进而保证云操作系统的可用性和稳定性。

    一种将应用业务部署到云存储虚拟机的系统及方法

    公开(公告)号:CN103051687B

    公开(公告)日:2016-05-25

    申请号:CN201210530425.4

    申请日:2012-12-10

    Abstract: 本发明披露了一种将应用业务部署到云存储虚拟机的系统及方法,其中系统包括通过网络连接的节点存储设备和与节点存储设备本地连接的移动存储设备,其中,在移动存储设备中写入要部署到远程服务设备的虚拟机中的应用业务及其数据;节点存储设备配置多个虚拟设备,将虚拟机磁盘镜像映射到一个虚拟设备;将连接的移动存储设备识别为本地硬盘的一个分区,并将该分区上的文件拷贝到相应的虚拟设备中。本发明用本地部署方式可避免因网络数据传输的延时和失败,使得应用业务部署的更加方便及可靠。

Patent Agency Ranking