一种任务调度方法及装置
    31.
    发明授权

    公开(公告)号:CN105718317B

    公开(公告)日:2019-05-07

    申请号:CN201610029299.2

    申请日:2016-01-15

    Abstract: 本发明公开了一种任务调度方法及装置,其中,该方法包括:获取工作节点的请求信息,请求信息为工作节点存在空闲工作槽时发送的请求任务的信息;计算每个任务队列的资源消耗特征及剩余任务比例,任一任务队列的资源消耗特征为依据该任务队列中正在运行的任务的CPU占用率、内存占用率及带宽占用率进行计算得到的,任一任务队列的剩余任务比例为该任务队列中未运行任务与全部任务的比值;选取任务队列中其资源消耗特征及剩余任务比例的乘积不小于其他任务队列的任务队列为目标任务队列,利用空闲工作槽对目标任务队列中的未运行任务进行处理。由此,优先处理急需被处理的任务队列中的未运行任务,大大提高了任务执行效率。

    一种案件预测的装置及方法

    公开(公告)号:CN105117605B

    公开(公告)日:2018-05-01

    申请号:CN201510570751.1

    申请日:2015-09-09

    Inventor: 苏志远 亓开元

    Abstract: 本发明公开了一种案件预测的装置及方法,所述装置包括:确定单元,用于接收预测指令,并根据所述预测指令确定至少一个影响因素;根据所述至少一个影响因素,确定所述至少一个影响因素的影响权重;获取单元,用于获取所述至少一个影响因素的历史值;所述确定单元,还用于根据所述获取单元获取的所述至少一个影响因素的历史值,利用时间序列模型,确定出所述至少一个影响因素的预测值;预测单元,用于根据所述确定单元确定出的所述至少一个影响因素的影响权重及所述至少一个影响因素的预测值,预测出犯罪案件数量。本发明实现了提高案件数量预测的准确度的目的。

    一种创建索引文件的方法及装置

    公开(公告)号:CN105488124A

    公开(公告)日:2016-04-13

    申请号:CN201510822336.0

    申请日:2015-11-24

    CPC classification number: G06F16/328

    Abstract: 本发明公开了一种创建索引文件的方法及装置,该方法包括:根据数据规模以及业务需求,确定执行索引创建的线程数量;通过所述数据规模以及所述线程数量,确定各个线程分别负责进行索引的数据范围;各个线程分别创建对应数据范围的索引文件;将各个所述线程创建的所述索引文件进行合并,存储于一个索引目录中。本发明所提供的创建索引文件的方法及装置,采用多线程并行创建索引的方式,提高了索引的效率。

    一种更新索引文件的方法及系统

    公开(公告)号:CN105404661A

    公开(公告)日:2016-03-16

    申请号:CN201510745257.4

    申请日:2015-11-05

    CPC classification number: G06F16/313

    Abstract: 本发明公开了一种更新索引文件的方法及系统,该方法包括:获取新词库和索引文件中的历史数据;其中,所述历史数据包括多条索引数据;判断每条所述索引数据是否受所述新词库的影响;利用所述新词库,对受所述新词库影响的索引数据进行重新索引,并将重新索引后的索引数据更新至所述索引文件。本发明是对索引文件中受新词库影响的索引数据进行重新索引,并不是一味地对整个索引文件中的历史数据进行重新索引,以此实现了既能快速将新词库更新至索引文件又不会影响到全文检索系统的正常使用的目的。

    一种数据的并行处理方法和系统

    公开(公告)号:CN104036039A

    公开(公告)日:2014-09-10

    申请号:CN201410307198.8

    申请日:2014-06-30

    CPC classification number: G06F17/30445

    Abstract: 本发明公开了一种数据的并行处理方法,包括:一个或多个Map节点读取账户日志数据的分片数据,从分片数据中选出状态持续时间满足查询日期要求的候选数据记录,生成所选出的候选数据记录的第一输出参数和第二输出参数;第一输出参数至少包括账户ID,第二输出参数至少包括:状态开始日、状态结束日和状态值;一个或多个Reduce节点读取Map节点处理完的不同候选数据记录,根据候选数据记录的第一输出参数和第二输出参数分别生成各账户在查询日期范围内的完整历史状态记录;第一输出参数中账户ID相同的候选数据记录由同一个Reduce节点读取。本发明能提高大规模日志数据的处理效率。本发明还公开了一种数据的并行处理系统。

    一种实现文件上传的方法及系统
    36.
    发明公开

    公开(公告)号:CN103970881A

    公开(公告)日:2014-08-06

    申请号:CN201410208886.9

    申请日:2014-05-16

    CPC classification number: H04L67/06

    Abstract: 本发明公开了一种实现文件上传的方法及装置,包括:获取分布式文件系统(HDFS)预定数量的数据节点;检测获取的预定数量的数据节点的连通性,得到所有连通的数据节点及连通的数据节点的数量;设置文件服务器上传的每个文件相应的HDFS文件上传命令,并统计HDFS文件上传命令的命令数;根据统计HDFS文件上传命令的命令数及连通的数据节点的数量,进行文件上传。本发明获取预定数量的HDFS的数据节点,通过检测HDFS中的数据节点的连通性后,将文件服务器上传的每个文件相应的HDFS文件上传命令均分给连通的数据节点,实现文件上传,提高文件上传的效率,降低文件上传的时长消耗。

    一种压缩策略选择方法及装置

    公开(公告)号:CN105302494B

    公开(公告)日:2019-06-18

    申请号:CN201510802655.5

    申请日:2015-11-19

    Abstract: 本发明实施例公开了一种压缩策略选择方法及装置,包括:接收数据压缩信息;其中,所述数据压缩信息中携带待压缩数据的数据量信息;根据所述待压缩数据的数据量信息,确定所述待压缩数据的处理场景信息;根据所述待压缩数据的数据量信息和所述待压缩数据的处理场景信息,确定所述待压缩数据的压缩策略,可见,在本实施例中根据用户待压缩数据的数据量信息及用户的实际处理场景,能帮用户选择适合的压缩策略,从而使每个用户都根据自己的实际情况,选择最合适的、性价比最高的压缩策略。

    一种虚拟机部署方法及装置

    公开(公告)号:CN105279027B

    公开(公告)日:2018-09-18

    申请号:CN201510809442.5

    申请日:2015-11-19

    Inventor: 苏志远 亓开元

    Abstract: 本发明实施例公开了一种虚拟机部署方法及装置,包括:接收虚拟机的部署请求信息,部署请求信息携带虚拟机申请的第一资源;根据虚拟机的第一资源,确定物理机集群中的每个物理机与虚拟机的线性相关系数、相似度及第一欧氏距离;根据虚拟机与每个物理机的线性相关系数,确定虚拟机与每个物理机的第一权重;根据虚拟机与每个物理机的第一欧氏距离,确定虚拟机与每个物理机的第二权重;根据目标物理机选择规则,及相似度、第一欧氏距离、第一权重及第二权重,确定与虚拟机部署的目标物理机。可见,本申请在选择目标物理机时,虚拟机发送的部署请求信息中携带了N种资源,克服了现有技术中由于单属性部署或者随机部署所产生的负载不均匀的问题。

    一种面向大数据处理的数据处理方法和装置

    公开(公告)号:CN104008153B

    公开(公告)日:2017-09-26

    申请号:CN201410217394.6

    申请日:2014-05-21

    Abstract: 本发明公开了一种面向大数据的数据处理方法和装置,该方法包括:获取处理环境数据及负载场景数据;选择处理环境数据及负载场景数据对应的压缩方式;根据所选择的压缩方式对数据进行处理;处理环境数据包括网络传输的性能指标和磁盘的性能指标;负载场景数据包括读操作比例和写操作比例,读操作比例与写操作比例相加为1。本发明能够指导在不同运行环境、不同负载场景下的压缩方式的选择,优化大数据处理性能。

    一种多租户共享数据库的方法和多租户数据库即服务系统

    公开(公告)号:CN103544319B

    公开(公告)日:2016-09-21

    申请号:CN201310544688.5

    申请日:2013-11-06

    Abstract: 本发明公开了一种多租户数据库即服务系统,该系统包括:应用层模块,用于接收客户端的指令,在应用层建立和维护租户的逻辑数据库信息,向数据管理层模块发送第一指令;数据管理层模块,用于根据所述第一指令建立和维护应用层的逻辑数据库信息到基础设施层的物理数据库实例信息的映射,向基础设施层模块发送第二指令;基础设施层模块,用于根据所述第二指令的指示基于虚拟机创建基础设施层的物理数据库实例,或者根据所述第二指令的指示对所述物理数据库实例进行数据操作。本发明能够实现租户之间的性能隔离,保障租户的性能需求。本发明还提供了一种多租户共享数据库的方法。

Patent Agency Ranking