一种区块链网络中的共识数据分发方法和区块链网络

    公开(公告)号:CN116192692A

    公开(公告)日:2023-05-30

    申请号:CN202211735064.7

    申请日:2022-12-30

    Abstract: 一种区块链网络中的数据传输延迟探测方法,包括:接收共识子网络中的共识节点周期性广播发送的探测消息;其中,探测消息中包含共识节点的第一网络地址和共识节点发送探测消息的第一时刻对应的第一时间戳;响应于探测消息,在探测消息中添加目标中继节点的第二网络地址和目标中继节点发送探测消息的第二时刻对应的第二时间戳,并将添加了第二网络地址和第二时间戳的探测消息,继续转发至与目标中继节点建立了网络连接的其它的各个非共识节点,以使其它的各个非共识节点中的普通节点基于接收到的探测消息中包含的各个时间戳,计算将第二网络地址作为中转,与第一网络地址之间的数据传输路径的数据传输延迟。

    流量调度方法及装置
    32.
    发明授权

    公开(公告)号:CN111294284B

    公开(公告)日:2022-04-26

    申请号:CN201811505121.6

    申请日:2018-12-10

    Abstract: 本申请提供一种流量调度方法及装置。包括:网络设备向控制器发送网络设备的第一局部状态信息,第一局部状态信息用于生成网络设备的第一全局状态信息;网络设备接收控制器发送的第一全局状态信息;网络设备根据第一全局状态信息生成第一流量调度指令,网络设备接收控制器发送的第一流量调度指令,网络设备根据第一流量调度指令对待传输的第一数据流进行流量调度。由于各个网络设备无需采用广播方式实现通信,而是与控制器进行通信,控制器基于各个局部状态信息生成全局状态信息,从而解决了通信量过大的问题。

    一种插件式分布式机器学习计算框架及其数据处理方法

    公开(公告)号:CN108280522A

    公开(公告)日:2018-07-13

    申请号:CN201810004566.X

    申请日:2018-01-03

    Applicant: 北京大学

    CPC classification number: G06N99/005 G06F8/22 H04L67/10 H04L67/28

    Abstract: 本发明公开了一种插件式分布式机器学习计算框架及其数据处理方法。本发明包括一个主控制节点、多个服务器节点和多个工作节点;每个服务器节点存储机器学习模型的一部分参数,各服务器节点存储的参数组成该机器学习模型的全部待训练的参数;每一工作节点存储一部分训练数据,工作节点根据存储的训练数据从对应服务器获取相关的参数,然后计算参数的更新量后将参数更新量回传给对应服务器;每一工作节点中设置一核心实例进程和一参数代理进程;核心实例进程通过参数代理进程与服务器节点进行通信,核心实例进程和参数代理进程之间通过一个与编程语言无关的通道进行数据传输和同步。本发明易于将任意语言编写的单机机器学习程序扩展成分布式程序。

    MapReduce中任务的调度方法和流水化执行方法

    公开(公告)号:CN105117286A

    公开(公告)日:2015-12-02

    申请号:CN201510607579.2

    申请日:2015-09-22

    Applicant: 北京大学

    Abstract: 本发明公布一种MapReduce系统中的任务调度方法和流水化执行方法,将有依赖关系的任务根据依赖关系和优先程度进行任务调度,使得有依赖关系的任务之间的执行重叠最大化:任务之间的依赖关系用DAG关系图表示,根据关键路径算法获得关键任务,通过流水化任务执行方法执行当前任务运行队列中的任务:执行上游map任务;进入上游reduce阶段;当输出第一个block时启动下游map阶段,分发一个map任务,同时设置下游任务map数量为最大数值;上游任务完成时设置下游任务map数量为正确数值;下游任务继续执行map任务和reduce阶段至执行完成。本发明方法可提高系统的资源利用率和程序的执行效率,提升系统运行性能。

    一种MapReduce系统中的数据采样和划分方法

    公开(公告)号:CN102799486B

    公开(公告)日:2014-11-26

    申请号:CN201210205841.7

    申请日:2012-06-18

    Applicant: 北京大学

    Inventor: 姚金宇 陈琪 肖臻

    Abstract: 本发明涉及一种MapReduce系统中的数据采样和划分方法,其步骤包括:1)客户端向MapReduce系统中提交任务请求,所述MapReduce系统中的主控节点将Map任务划分成采样和普通任务,所述主控节点Master将采样任务优先下发到各个分节点Worker进行执行;2)根据各个分节点Worker上的Map采样任务筛选出样本集合,并将样本上传至主控节点Master进行合并;3)所述主控节点Master根据Map采样任务结果得到Reduce任务工作量,对Reduce任务划分键值区间,实现负载均衡,完成采样和划分。在存在数据倾斜的应用场景下,本发明可以较大幅度地提高整个MapReduce任务的执行效率,本发明的数据采样和划分算法对于原有MapReduce系统带来的额外开销较小,在数据分布比较均匀的应用场景下基本上不影响原系统的执行效率。

    一种可自动调节参数的云计算系统负载预测方法

    公开(公告)号:CN102135914A

    公开(公告)日:2011-07-27

    申请号:CN201110084332.9

    申请日:2011-04-02

    Applicant: 北京大学

    Inventor: 肖臻 黄群 宋维佳

    Abstract: 本发明公布了一种可自动调节参数的云计算系统负载预测方法。包括:在时刻t,通过系统调用计算得到时刻t的系统实际负载O(t);执行短期预测:利用O(t)值与历史数据计算α(t)与E(t);执行长期预测:利用O(t)与历史数据计算αT(t)与ET(t);综合短期预测与长期预测:当t<T时,输出O(t),转下一步;否则,取E(t-1),ET(t-T)二者的最大值或者平均值作为时刻t的输出;更新历史数据,等待时刻t+1,转第一步。本发明通过误差函数实时计算α(t)与αT(t),提高了经典EWMA的预测精度;通过将α(t)与αT(t)扩充到[-1,1]区间上,使得预测值能满足略大于实际值的需求;通过引入长期预测模块,提高了预测对云计算平台负载周期性的反应能力。

    基于谓词的区块压缩传输方法和装置、设备和介质

    公开(公告)号:CN117812092A

    公开(公告)日:2024-04-02

    申请号:CN202410219276.2

    申请日:2024-02-28

    Abstract: 本公开实施例公开了一种基于谓词的区块压缩传输方法和装置、设备和介质,其中,方法包括:客户端获取目标谓词和客户端分别与区块链网络中的多个共识节点中的各共识节点之间传输数据的多个传输时长;客户端根据目标谓词,确定共识节点选择策略;客户端根据多个传输时长和共识节点选择策略,确定目标共识节点;响应于目标共识节点满足预设出块条件,目标共识节点生成客户端对应的新增区块的压缩区块,并向其他共识节点广播压缩区块,以使新增区块存储到区块链网络的区块链中,其中,其他共识节点为区块链网络中除目标共识节点以外的共识节点。

    一种网络流量监测方法及网络设备

    公开(公告)号:CN109391521A

    公开(公告)日:2019-02-26

    申请号:CN201710681276.4

    申请日:2017-08-10

    Abstract: 本申请公开了一种网络流量监测方法及网络设备,适用的网络包括数据源节点、中继节点及目标节点,该方法包括:第一节点的M个下游邻居节点向第一节点发送频域分量,该频域分量是各个下游邻居节点从所述下游邻居节点的时域度量值集合进行频域变换的结果中选择的频率和/或振幅满足设定取值范围的L个频域值,然后,第一节点采集所述第一链路的链路负载度量值集合,并将所述第一下游邻居节点的频域分量进行时域变换的结果与所述链路负载度量值集合进行合并,得到子时域度量值集合,继而根据M个子时域度量值集合,确定出所述第一节点的时域度量值集合,这样可以解决现有的流量调节方式传输的信息量大,或者通讯开销大的技术问题。

Patent Agency Ranking