-
公开(公告)号:CN117474081A
公开(公告)日:2024-01-30
申请号:CN202311408427.0
申请日:2023-10-25
Applicant: 电子科技大学
Abstract: 本发明公开了基于自适应拓扑和辅助路由的分布式机器学习训练系统,包括:用户平面,用于提供构建拓扑的自定义策略;调度平面,包括网络感知模块、策略制定模块以及策略一致性模块;数据平面,包括策略执行模块和网络测量模块。本发明缓解了多智算中心跨广域互联的通信瓶颈问题,解决了现有分布式机器学习系统在资源异构且动态变化的广域网络中效能受限的问题。
-
公开(公告)号:CN111580970B
公开(公告)日:2023-02-03
申请号:CN202010377635.9
申请日:2020-05-07
Applicant: 电子科技大学
Abstract: 本发明公开了一种联邦学习的模型分发与聚合的传输调度方法,涉及模型训练通信技术领域,该方法通过调度节点实现对各执行节点的在线调度,使已拥有最新全局模型的执行节点,向不具有最新全局模型的执行节点传输最新全局模型,直至所有的执行节点均拥有最新全局模型;通过调度节点实现对各执行节点的在线调度,使各执行节点之间进行模型数据的局部聚合,所有模型数据的聚合方向最终均指向中心服务器,直至所有参与节点的本地模型数据均聚合至中心服务器。本发明充分利用参与节点间的带宽资源加速模型通信,缓解了模型分发或聚合过程中流组的盲目竞争,减小了带宽受限的域间网络的拥塞程度,大大提高了联邦学习模型的训练效率,不会降低模型质量。
-
公开(公告)号:CN111580970A
公开(公告)日:2020-08-25
申请号:CN202010377635.9
申请日:2020-05-07
Applicant: 电子科技大学
Abstract: 本发明公开了一种联邦学习的模型分发与聚合的传输调度方法,涉及模型训练通信技术领域,该方法通过调度节点实现对各执行节点的在线调度,使已拥有最新全局模型的执行节点,向不具有最新全局模型的执行节点传输最新全局模型,直至所有的执行节点均拥有最新全局模型;通过调度节点实现对各执行节点的在线调度,使各执行节点之间进行模型数据的局部聚合,所有模型数据的聚合方向最终均指向中心服务器,直至所有参与节点的本地模型数据均聚合至中心服务器。本发明充分利用参与节点间的带宽资源加速模型通信,缓解了模型分发或聚合过程中流组的盲目竞争,减小了带宽受限的域间网络的拥塞程度,大大提高了联邦学习模型的训练效率,不会降低模型质量。
-
公开(公告)号:CN116781703A
公开(公告)日:2023-09-19
申请号:CN202210232264.4
申请日:2022-03-09
Applicant: 中兴通讯股份有限公司 , 电子科技大学
IPC: H04L67/1004 , H04L67/1097 , H04L41/082 , H04L41/0894 , H04L43/0888 , G06F9/50
Abstract: 本公开提供一种数据处理方法,响应于接收到工作节点发送的携带有所述工作节点的网络吞吐量信息的策略更新请求消息,根据网络吞吐量信息更新全局网络吞吐量信息;在接收到全部工作节点发送的策略更新请求消息的情况下,根据全局网络吞吐量信息确定数据分配信息;响应于根据预设的第一阈值、数据分配信息和历史数据分配信息确定出满足预设策略更新条件,向各工作节点发送携带有数据分配信息的策略响应消息。加速基于广域网的算力网络所承载的分布式应用的数据汇聚和分发过程,提高通信效率;动态地为不同汇聚节点分配不同规模的数据量,实现对当前广域网带宽资源的高效利用。本公开还提供一种数据处理方法、数据处理装置、计算机设备和可读介质。
-
公开(公告)号:CN115884252A
公开(公告)日:2023-03-31
申请号:CN202111146319.1
申请日:2021-09-28
Applicant: 中兴通讯股份有限公司 , 电子科技大学
Abstract: 本发明实施例涉及通信技术领域,公开了一种策略调整方法,包括:获取工作节点的网络状态;若网络状态的变化满足预设条件,则调整工作节点的拓扑策略;将调整后的拓扑策略发送至每一工作节点,其中,工作节点包括一个全局节点、若干局部节点和若干普通工作节点。本发明实施例还公开了一种数据传输方法、系统、服务器及存储介质。本发明实施例提供的策略调整方法、数据传输方法、系统、服务器及存储介质,可以数据传输方案与动态变化的广域网带宽相匹配,提高数据传输的性能。
-
-
-
-