一种分布式数据的处理方法及装置

    公开(公告)号:CN105740295A

    公开(公告)日:2016-07-06

    申请号:CN201410768646.4

    申请日:2014-12-12

    Abstract: 本发明提供一种分布式数据的处理方法及装置,该处理方法包括:将原始数据分别写入多个副本分片中,并为不同的副本分片设置标识不同功能的标签;响应不同的操作请求,根据所述副本分片的标签确定与所述不同的操作请求对应的副本分片,其中所述操作请求至少包括分析数据的操作请求和查询数据的操作请求;读取确定的所述副本分片的数据,并对所述数据进行相应的操作。本发明实施例对同一份原始数据利用不同标签的副本分片进行不同业务数据处理,极大的降低了数据存储的冗余度,提高了数据处理的效率;且由于不同的操作请求分别落在不同的副本分片上,对不同的响应时间要求的数据处理的输入/输出可以进行完全的隔离,保证了性能的隔离。

    一种分布式数据的处理方法及装置

    公开(公告)号:CN105740295B

    公开(公告)日:2019-06-14

    申请号:CN201410768646.4

    申请日:2014-12-12

    Abstract: 本发明提供一种分布式数据的处理方法及装置,该处理方法包括:将原始数据分别写入多个副本分片中,并为不同的副本分片设置标识不同功能的标签;响应不同的操作请求,根据所述副本分片的标签确定与所述不同的操作请求对应的副本分片,其中所述操作请求至少包括分析数据的操作请求和查询数据的操作请求;读取确定的所述副本分片的数据,并对所述数据进行相应的操作。本发明实施例对同一份原始数据利用不同标签的副本分片进行不同业务数据处理,极大的降低了数据存储的冗余度,提高了数据处理的效率;且由于不同的操作请求分别落在不同的副本分片上,对不同的响应时间要求的数据处理的输入/输出可以进行完全的隔离,保证了性能的隔离。

    一种作业调度的方法及装置

    公开(公告)号:CN105718316A

    公开(公告)日:2016-06-29

    申请号:CN201410720367.0

    申请日:2014-12-01

    Abstract: 本发明提供了一种作业调度的方法及装置,包括:获取作业实体携带的作业实体的优先级信息以及作业实体所需的最小资源数量;根据作业实体的优先级信息,将优先级相同的多个作业实体划分入同一作业队列,得到至少一个作业队列;若每一个作业队列中的作业实体被分配的资源数量小于该作业实体所需的最小资源数量时,获取资源队列中可用的资源,并分配给作业实体。本发明的方案,能够解决多种作业实体并发执行的情况下,实现不同作业实体的服务等级协议保障,包括不同优先级作业实体之间和相同优先级作业实体之间的资源分配。实现了资源共享和有序保障之间的平衡,既保障了每个作业实体的服务等级协议,又提高了整个集群资源的利用率。

    基于时钟同步的小区切换方法、终端及网络侧设备

    公开(公告)号:CN113852998A

    公开(公告)日:2021-12-28

    申请号:CN202010598071.1

    申请日:2020-06-28

    Abstract: 本发明实施例提供了一种基于时钟同步的小区切换方法、终端及网络侧设备,该方法包括:接收由各第一网络侧设备发送的时钟同步消息,时钟同步消息包括时钟质量;其中,时钟质量由各第一网络侧设备根据与时钟源进行时钟同步的当前状态得到;将时钟质量记录到测量报告中,发送给第二网络侧设备,以使第二网络侧设备根据时钟质量,确定是否满足小区切换条件;接收到由第二网络侧设备发送的小区切换指令,执行小区切换操作;其中,小区切换指令是第二网络侧设备在时钟质量满足小区切换条件的情况下发送的。通过本发明实施例,实现了在服务小区的第一网络侧设备无法与时钟源保持同步时,通过小区切换,使终端和其对应的下一级设备的时钟精确同步。

    一种Hadoop数据库HBase的查询方法及装置

    公开(公告)号:CN106294472B

    公开(公告)日:2019-08-02

    申请号:CN201510299125.3

    申请日:2015-06-03

    Abstract: 本发明提供了一种Hadoop数据库HBase的查询方法及装置,涉及数据库领域,解决现有HBase查询方法存在缺陷的问题,该方法包括:接收用户的查询请求,并将查询请求反序列化成Call查询作业;获取Call查询作业所归属用户的用户优先级;根据预先设置的用户优先级和查询优先级的对应关系,将Call查询作业放到多个请求队列CallQueue中的一个请求队列CallQueue中;根据请求队列CallQueue的查询优先级,处理请求队列CallQueue中的Call查询作业,得到查询结果;将查询结果返回给用户。本发明的方案在保证整体用户体验的同时,提高了高优先级用户的服务体验。

    一种Hadoop分布式文件系统的存储方法及装置

    公开(公告)号:CN106294511B

    公开(公告)日:2019-07-02

    申请号:CN201510317771.8

    申请日:2015-06-10

    Abstract: 本发明提供了一种Hadoop分布式文件系统的存储方法及装置,其中方法包括:元数据节点根据接收到的数据节点反馈的节点状态信息,计算各个数据节点的健康性评估值,按照健康性评估值的优劣的先后顺序,选择出排序靠前的第一预设数量的第一组数据节点;根据宕机次数以及每次宕机恢复后的存活时间,计算各个数据节点的可靠性评估值,按照可靠性评估值的高低顺序,选择出排序靠前的第二预设数量的第二组数据节点;根据预设存储策略选择出第三预设数量的第三组数据节点;根据三组数据节点,筛选出用于当前数据存储的N个目标数据节点。本发明采用简单易行的基于多因素的存储选择策略及选择算法,提高了数据节点的选择效率,带来更好的用户体验。

    一种Hadoop分布式文件系统的存储方法及装置

    公开(公告)号:CN106294511A

    公开(公告)日:2017-01-04

    申请号:CN201510317771.8

    申请日:2015-06-10

    CPC classification number: G06F16/122 G06F16/182

    Abstract: 本发明提供了一种Hadoop分布式文件系统的存储方法及装置,其中方法包括:元数据节点根据接收到的数据节点反馈的节点状态信息,计算各个数据节点的健康性评估值,按照健康性评估值的优劣的先后顺序,选择出排序靠前的第一预设数量的第一组数据节点;根据宕机次数以及每次宕机恢复后的存活时间,计算各个数据节点的可靠性评估值,按照可靠性评估值的高低顺序,选择出排序靠前的第二预设数量的第二组数据节点;根据预设存储策略选择出第三预设数量的第三组数据节点;根据三组数据节点,筛选出用于当前数据存储的N个目标数据节点。本发明采用简单易行的基于多因素的存储选择策略及选择算法,提高了数据节点的选择效率,带来更好的用户体验。

Patent Agency Ranking