-
公开(公告)号:CN111294284A
公开(公告)日:2020-06-16
申请号:CN201811505121.6
申请日:2018-12-10
IPC: H04L12/801
Abstract: 本申请提供一种流量调度方法及装置。包括:网络设备向控制器发送网络设备的第一局部状态信息,第一局部状态信息用于生成网络设备的第一全局状态信息;网络设备接收控制器发送的第一全局状态信息;网络设备根据第一全局状态信息生成第一流量调度指令,网络设备接收控制器发送的第一流量调度指令,网络设备根据第一流量调度指令对待传输的第一数据流进行流量调度。由于各个网络设备无需采用广播方式实现通信,而是与控制器进行通信,控制器基于各个局部状态信息生成全局状态信息,从而解决了通信量过大的问题。
-
公开(公告)号:CN110033095A
公开(公告)日:2019-07-19
申请号:CN201910159918.3
申请日:2019-03-04
Applicant: 北京大学
IPC: G06N20/00
Abstract: 本发明涉及一种高可用分布式机器学习计算框架的容错方法和系统。该方法建立分布式机器学习框架,包括多个Master节点、多个Server节点、多个Agent节点,其中Agent节点和Server节点、Master节点通信,每个Server节点存储一部分参数,每个Agent节点存储一部分训练数据,计算本地的参数更新量;Master节点记录其它节点的信息及机器学习任务相关的信息;Master节点组成高可用的Master集群,通过分布式一致性哈希算法和参数备份实现Server节点的高可用,通过重新启动进行Agent节点的故障恢复。本发明能够提高分布式机器学习系统的高可用性,能够灵活高效地进行故障恢复。
-
公开(公告)号:CN109445953A
公开(公告)日:2019-03-08
申请号:CN201811000167.2
申请日:2018-08-30
Applicant: 北京大学
Abstract: 本发明公开一种面向大规模机器学习系统的机器学习模型训练方法。本方法为:1)将面向机器学习任务的专用计算机系统抽象为非一致性分布式内存的机器学习系统;2)各计算节点上的机器学习模型从该机器学习系统中读取本轮训练所需的训练数据和机器学习模型最新的参数数据;3)各计算节点分别利用当前获取的训练数据和参数数据训练本地的机器学习模型,计算机器学习模型的参数更新量并将其上传到该机器学习系统;4)该机器学习系统根据用户配置的参数更新方案和当前收到的参数更新量对参数进行更新。本发明使得机器学习算法的开发者无需关注分布式的具体实现,大大降低了大规模机器学习算法开发的难度。
-
公开(公告)号:CN105117286B
公开(公告)日:2018-06-12
申请号:CN201510607579.2
申请日:2015-09-22
Applicant: 北京大学
IPC: G06F9/48
Abstract: 本发明公布一种MapReduce系统中的任务调度方法和流水化执行方法,将有依赖关系的任务根据依赖关系和优先程度进行任务调度,使得有依赖关系的任务之间的执行重叠最大化:任务之间的依赖关系用DAG关系图表示,根据关键路径算法获得关键任务,通过流水化任务执行方法执行当前任务运行队列中的任务:执行上游map任务;进入上游reduce阶段;当输出第一个block时启动下游map阶段,分发一个map任务,同时设置下游任务map数量为最大数值;上游任务完成时设置下游任务map数量为正确数值;下游任务继续执行map任务和reduce阶段至执行完成。本发明方法可提高系统的资源利用率和程序的执行效率,提升系统运行性能。
-
公开(公告)号:CN102135914B
公开(公告)日:2012-11-21
申请号:CN201110084332.9
申请日:2011-04-02
Applicant: 北京大学
IPC: G06F9/50
Abstract: 本发明公布了一种可自动调节参数的云计算系统负载预测方法。包括:在时刻t,通过系统调用计算得到时刻t的系统实际负载O(t);执行短期预测:利用O(t)值与历史数据计算α(t)与E(t);执行长期预测:利用O(t)与历史数据计算αT(t)与ET(t);综合短期预测与长期预测:当t<T时,输出O(t),转下一步;否则,取E(t-1),ET(t-T)二者的最大值或者平均值作为时刻t的输出;更新历史数据,等待时刻t+1,转第一步。本发明通过误差函数实时计算α(t)与αT(t),提高了经典EWMA的预测精度;通过将α(t)与αT(t)扩充到[-1,1]区间上,使得预测值能满足略大于实际值的需求;通过引入长期预测模块,提高了预测对云计算平台负载周期性的反应能力。
-
公开(公告)号:CN102195890A
公开(公告)日:2011-09-21
申请号:CN201110149707.5
申请日:2011-06-03
Applicant: 北京大学
Abstract: 本发明提供了一种基于云计算的互联网应用调度方法,包括步骤:1)安装于应用服务器前端的调度器监控应用服务器的配置信息,各服务器上应用的需求,以及上一时刻和当前时刻的用户请求数;各应用所有实例的运行信息;2)当监测到应用发生变化,包括应用的负载下降、应用退出系统、应用加入系统、应用的负载上升,通过装箱算法对应用发生变化的服务器负载进行调整,并通过转发器改动每个应用的各实例间的负载分布,减少在新服务器上开启新的应用实例;3)调度器输出需要关闭的应用实例、需要新启动的应用实例,以及在哪个服务器上启动。本发明的方法根据用户应用的动态需求动态地为用户调整资源的使用数量,尽量避免启动新的应用实例,代价小。
-
公开(公告)号:CN101706736A
公开(公告)日:2010-05-12
申请号:CN200910243439.6
申请日:2009-12-22
Applicant: 北京大学
Abstract: 本发明公开了一种高效的脏页获取方法,属于虚拟化技术领域。本方法为:1)虚拟机管理器为每个第一级影子页表维护一n位的标记;2)在一执行周期之前,虚拟机管理器将第一级影子页表的所有页表项设置为只读,并将对应标记设置为0;3)在该执行周期内,虚拟机管理器根据截获的缺页异常信息,将对应的页面记录为脏页面;同时将该影子页表表项置为可写,并将其所对应的标记位设置为1;4)在该执行周期结束时,虚拟机管理器记录主虚拟机的所有脏页;同时遍历标记位为1的影子页表表项段,将所有可写影子页表表项设置为只读;5)虚拟机管理器恢复主虚拟机的执行,重复2)~4),开始新的执行周期。本发明可大大提升主虚拟机的性能。
-
公开(公告)号:CN117812092B
公开(公告)日:2024-05-14
申请号:CN202410219276.2
申请日:2024-02-28
IPC: H04L67/1095 , G06F40/268 , G06F40/284 , H04L69/04 , H04L9/32 , H04L9/40
Abstract: 本公开实施例公开了一种基于谓词的区块压缩传输方法和装置、设备和介质,其中,方法包括:客户端获取目标谓词和客户端分别与区块链网络中的多个共识节点中的各共识节点之间传输数据的多个传输时长;客户端根据目标谓词,确定共识节点选择策略;客户端根据多个传输时长和共识节点选择策略,确定目标共识节点;响应于目标共识节点满足预设出块条件,目标共识节点生成客户端对应的新增区块的压缩区块,并向其他共识节点广播压缩区块,以使新增区块存储到区块链网络的区块链中,其中,其他共识节点为区块链网络中除目标共识节点以外的共识节点。
-
公开(公告)号:CN117811999B
公开(公告)日:2024-05-14
申请号:CN202410223709.1
申请日:2024-02-28
Abstract: 本公开实施例公开了一种区块链网络系统的节点数据处理方法和装置,其中,该方法包括:将区块链系统的多个网络节点配置为多个超级节点、多个服务节点和多个骨干节点;基于多个服务节点和多个骨干节点,生成多个k叉平衡树,并按照中序遍历的方式对k叉平衡树的每个节点配置有第一路由表和第二路由表;响应于第一节点接收到节点加入请求,获取第一节点的第一路由表和第一节点的第二路由表;基于第一节点的第一路由表和第一节点的第二路由表,确定第二节点在k叉平衡树中的节点加入位置。本公开实施例可以提升区块链系统的吞吐量和稳定性,且可以在保证k叉平衡树的平衡稳定下的前提下接收新节点的加入。
-
公开(公告)号:CN117808466A
公开(公告)日:2024-04-02
申请号:CN202410223720.8
申请日:2024-02-28
IPC: G06Q20/22 , G06Q20/38 , H04L9/32 , H04L67/104
Abstract: 本公开实施例公开了一种基于区块链的交易预执行方法和装置,其中,区块链包括共识节点、管理节点和普通节点,该方法包括:响应于管理节点通过普通节点接收到多个交易请求,对多个交易请求进行聚合定序和签名得到目标聚合定序结果;管理节点将目标聚合定序结果发送给共识节点和普通节点,以便共识节点根据多个聚合定序结果生成区块,普通节点基于目标聚合定序结果预执行多个交易请求到第一交易结果;管理节点接收共识节点发送区块发送给普通节点,以便普通节点验证区块中多个交易请求的顺序与目标聚合定序结果中多个交易请求的顺序是否一致,并在顺序一致时提供第一交易结果。本公开实施例可以大幅提升区块链的交易处理速度。
-
-
-
-
-
-
-
-
-