作业调度方法和装置、计算机机群、计算机可读存储介质

    公开(公告)号:CN114217920A

    公开(公告)日:2022-03-22

    申请号:CN202111353082.4

    申请日:2021-11-16

    Inventor: 苏勇 李博 万伟

    Abstract: 本申请涉及一种作业调度方法和装置、计算机机群、计算机可读存储介质,计算机机群包括至少两个不同通信带宽的机群,各机群包括多个同一通信带宽的计算节点。该方法包括:获取待处理业务的服务级别;服务级别用于表征待处理业务调用计算机机群中不同通信带宽的计算节点的优先级顺序;获取计算机机群的多条通信链路;多条通信链路包括多个不同通信带宽的计算节点;根据待处理业务所需的计算节点数目、待处理业务的服务级别,从多条通信链路中确定目标通信链路,将待处理业务分配至目标通信链路上的计算节点进行执行。实现了在不同通信带宽的机群之间进行作业调度,进而也实现了大规模机群作业的优化。

    快照的管理方法和装置

    公开(公告)号:CN103268270B

    公开(公告)日:2016-04-13

    申请号:CN201310173209.3

    申请日:2013-05-10

    Abstract: 本发明公开了一种方法和装置,其中,该方法包括:在每次对系统中存储的数据生成快照时,在二叉树中创建与本次快照对应的节点;对于每次生成的快照,确定本次生成的快照相比于二叉树中其他节点已存储的快照的非增量数据,并且在存储本次生成的快照时,将非增量数据的索引存储至二叉树中与本次生成的快照所对应的节点。本发明通过不重复存储与已有快照存储的数据相同的数据,从而减少存储多个快照所占用的内存,节约存储快照所需的设备的空间,此外,本发明通过二叉树来管理快照实现了快照的快速定位,并且使系统可以更加高效地使用快照,提高了系统的操作性能。

    分布式文件系统中请求的处理方法和装置

    公开(公告)号:CN103235754A

    公开(公告)日:2013-08-07

    申请号:CN201310145208.8

    申请日:2013-04-24

    Abstract: 本发明公开了一种分布式文件系统中请求的处理方法和装置,该方法包括:判断请求是否为待处理的请求;在请求为待处理的请求的情况下,对请求进行解析,得到该请求所包含的节点;对于该请求的每个节点,根据该节点的类型,将该节点发送至与类型对应的节点队列。本发明通过对请求进行解析,使请求中的每个节点根据其类型发送至对应的节点队列,能使其快速准确地用到节点上,保证让不同节点上的请求各自并发执行,提高了系统操作效率。

    元数据的恢复方法和系统

    公开(公告)号:CN103235747A

    公开(公告)日:2013-08-07

    申请号:CN201310145568.8

    申请日:2013-04-24

    Abstract: 本发明公开了一种元数据的恢复方法和系统,其中,该方法包括:根据需要恢复的数据创建事务,并保存创建的事务对应的事务标记;通过执行创建的事务以恢复数据,其中,如果对于已创建的事务所对应的数据出现新的操作,则利用该新的操作所对应事务的事务标记替换该数据对应的原事务的事务标记。本发明通过执行事务的方式恢复数据能使需要恢复数据的节点准确地接收完整的数据,并且通过使用最终的操作事务替代中间操作事务的方法,从而实现不重复执行对应于同一数据的多个事务来减少数据的恢复时间,保证了数据的恢复质量和恢复进度,从而提高系统的稳定性和可靠性。

    元数据的恢复方法和装置

    公开(公告)号:CN103136370A

    公开(公告)日:2013-06-05

    申请号:CN201310092302.1

    申请日:2013-03-21

    Abstract: 本发明公开了一种元数据的恢复方法和装置,其中,该恢复方法包括:保存元数据服务器出现异常期间生成的事务以及存储的每个事务所对应的文件标识;在元数据服务器异常解除之后,对于保存的事务,根据相同文件标识所对应的事务生成元数据;将生成的元数据发送至元数据服务器。本发明通过保存元数据服务器出现异常期间生成的事务及对应的文件标识,并且由于本发明的方案能够传输相同文件标识对应的事务所生成的元数据,因此,传输的方式可以是针对多个文件并行传输元数据,从而有效提高了元数据恢复的效率,在尽可能短的时间内使多个元数据服务器恢复成一致,增加系统的可靠性,避免了服务器恢复占用大量的时间,尽可能保证用户的业务能够正常进行。

    元数据的恢复方法和系统

    公开(公告)号:CN103235747B

    公开(公告)日:2016-12-28

    申请号:CN201310145568.8

    申请日:2013-04-24

    Abstract: 本发明公开了一种元数据的恢复方法和系统,其中,该方法包括:根据需要恢复的数据创建事务,并保存创建的事务对应的事务标记;通过执行创建的事务以恢复数据,其中,如果对于已创建的事务所对应的数据出现新的操作,则利用该新的操作所对应事务的事务标记替换该数据对应的原事务的事务标记。本发明通过执行事务的方式恢复数据能使需要恢复数据的节点准确地接收完整的数据,并且通过使用最终的操作事务替代中间操作事务的方法,从而实现不重复执行对应于同一数据的多个事务来减少数据的恢复时间,保证了数据的恢复质量和恢复进度,从而提高系统的稳定性和可靠性。

    分布式文件系统中请求的处理方法和装置

    公开(公告)号:CN103235754B

    公开(公告)日:2016-10-05

    申请号:CN201310145208.8

    申请日:2013-04-24

    Abstract: 本发明公开了一种分布式文件系统中请求的处理方法和装置,该方法包括:判断请求是否为待处理的请求;在请求为待处理的请求的情况下,对请求进行解析,得到该请求所包含的节点;对于该请求的每个节点,根据该节点的类型,将该节点发送至与类型对应的节点队列。本发明通过对请求进行解析,使请求中的每个节点根据其类型发送至对应的节点队列,能使其快速准确地用到节点上,保证让不同节点上的请求各自并发执行,提高了系统操作效率。

Patent Agency Ranking