-
公开(公告)号:CN115426265A
公开(公告)日:2022-12-02
申请号:CN202211362948.2
申请日:2022-11-02
Applicant: 之江实验室
IPC: H04L41/082 , H04L41/0823 , H04L41/147 , H04L41/16 , G06K9/62 , G06N20/00
Abstract: 本发明公开了一种多模态网络下交换资源分配优化方法及装置、介质,该方法基于机器学习对多模态网元上ASIC交换芯片、FPGA、PPK软件交换进行选择,具体包括:人工预配置,制定多模态软硬件协同处理的基本规则;离线学习,在离线学习阶段设计训练配置,以捕获不同的交换资源使用变量,运行实验以产生训练分类器的原始数据,利用生成的性能指标离线训练模型;在线推理,获取交换资源分配建议,并根据交换资源分配建议更新模态代码。本发明使用多模态网元I型设备,实现了多模态网元上软/硬件交换资源的灵活、高效分配,使软硬件协同设计性能达到最优,降低多模态网络资源分配成本,其实现方法简便、手段灵活、网络服务质量能得到显著保证。
-
公开(公告)号:CN115002039A
公开(公告)日:2022-09-02
申请号:CN202210888382.0
申请日:2022-07-27
Applicant: 之江实验室
IPC: H04L47/122 , H04L47/32 , H04L69/22
Abstract: 本发明公开一种基于UDF的流量卸载方法及系统,该方法包括:步骤一,进行P4语言编程:对网络中特定新型流量的协议报文格式进行P4语言编程描述;对报文的解析、匹配和卸载规则进行P4语言编程和对应流表描述;步骤二,通过面向UDF的编译映射方法将P4程序编译映射到ASIC芯片上;步骤三,在所述ASIC芯片上,根据UDF规则匹配到流量卸载规则后执行流量卸载动作,将特定报文卸载到对应的处理节点或者丢弃。本发明一方面有效减少了关键节点或核心网中的数据流量,减轻了计算和存储负荷,提升整体运行效率,另一方面提升了流量卸载的可编程序和灵活性,有助于更好地利用芯片的性能。
-
公开(公告)号:CN120075122A
公开(公告)日:2025-05-30
申请号:CN202510528050.5
申请日:2025-04-25
Applicant: 之江实验室
IPC: H04L45/02 , H04L45/12 , H04L47/125 , H04L47/283 , H04L49/356 , G06N3/098
Abstract: 本发明公开了一种面向分布式大模型训练的通信调度方法、电子设备、介质,包括:获取服务器集群规模、度数及AllReduce与MP流量的传输需求比例,按两类流量需求比例拆分为AllReduce流量、MP流量子拓扑的度数,基于此构建AllReduce子拓扑和MP子拓扑,组合得到拓扑图,并利用光交换机实现物理拓扑;当流量变化时,获取所有分布式大模型训练任务数组、链路数组、候选放置位置数组;根据拓扑图中构建每一候选放置位置对应的亲和图,计算亲和图中所有链路的兼容性得分,得到最佳放置位置;计算最佳放置位置对应的亲和图中所有连接子图的时延,将其总和作为总时延,以总时延最小为优化目标;根据最佳放置位置以及总时延在物理拓扑上进行分布式大模型训练。
-
公开(公告)号:CN118519642B
公开(公告)日:2024-09-27
申请号:CN202410968709.4
申请日:2024-07-19
Applicant: 之江实验室
Abstract: 本发明涉及一种基于资源能力表述的网络编程逻辑功能与网络资源拟合匹配方法,包括构建资源种类与能力的模型表述;解析数据面逻辑以确定出所需的资源种类与能力;进行资源拟合与能力匹配操作,输出得到拟合结果,用于将网络编程逻辑功能部署在网络资源中并运行。与现有技术相比,本发明通过构建资源种类与能力的模型表述,通过解析数据面逻辑,以提炼出数据面所需的资源种类与能力概述,再通过与对应的网络设备资源进行功能拟合匹配,能够实现数据面逻辑功能依据设备的资源能力进行部署,提高网络效率和资源利用率。
-
公开(公告)号:CN117319287A
公开(公告)日:2023-12-29
申请号:CN202311585505.4
申请日:2023-11-27
Applicant: 之江实验室
Abstract: 本发明公开了一种基于多智能体强化学习的网络可扩展路由方法与系统,通过PageRank算法对网络节点重要性进行建模,并选取网络中的关键节点,然后在若干个关键网络节点上训练Actor网络,在SDN控制器上训练Critic网络,基于多智能体强化学习进行网络流量的逐跳路由,实现大型数据中心网络的可扩展路由。通过本发明既提升了路由方案的稳定性又降低了大型网络中路由寻优的复杂度;同时不需要传统监督学习方法中的带标签的样本,通过与环境反复交互获得实时反馈的样本,以指导模型的迭代和优化;奖励函数的设计综合考虑了网络链路的吞吐量、时延和丢包率,通过多种指标加权指导多智能体生成最优的流量路由策略。
-
公开(公告)号:CN117319283A
公开(公告)日:2023-12-29
申请号:CN202311047597.0
申请日:2023-08-17
Applicant: 之江实验室
Abstract: 本发明提供了一种融合地理分布式机器学习多维特征的梯度传输方法,包括:由全局调度器收集分散在不同地理位置的多维特征,生成计算调度任务,并将计算结果转化为调度策略分发至网络节点和计算节点;由网络节点接收全局调度器发送的调度策略,根据调度策略更新路由转发表,并由计算节点接收全局调度器发送的端到端调度策略,并根据策略执行传输调度。本发明在链路带宽资源动态变化和拓扑结构非对称的广域网场景下,如何利用不同参数更新对模型收敛重要度的差异性以及模型训练对不完整参数更新的容忍性,并基于此建立传输模型和数学模型将这些特征应用于数据的传输优化设计中实现自适应的传输服务,降低梯度数据的传输完成时间。
-
公开(公告)号:CN117177377A
公开(公告)日:2023-12-05
申请号:CN202311208042.X
申请日:2023-09-19
Applicant: 之江实验室
IPC: H04W72/543 , G06N20/20
Abstract: 本发明公开了一种面向分布式训练的协作式梯度网内聚合调度方法和装置。其中,该方法,包括:根据收集到的网络资源信息和预定义的模型分区确定各worker节点上子模型对应的目标聚合节点;根据各worker节点上子模型对应的目标聚合节点,将各worker节点上划分得到的子模型训练后的梯度分片进标记;当梯度分片到达聚合节点时,将聚合节点的标识与梯度分片的标记进行比对,若不匹配则进行转发;若匹配,则将梯度分片分配到当前聚合节点特定的内存单元进行聚合;PS节点进行全局聚合,并将全局聚合后更新的参数发送至所有worker节点。本发明的技术方案,通过协作网内聚合执行梯度调度,实现了在可编程交换机上聚合异步到达的梯度并加速分布式训练。
-
公开(公告)号:CN116232849A
公开(公告)日:2023-06-06
申请号:CN202211659106.3
申请日:2022-12-22
Applicant: 之江实验室
IPC: H04L41/0631 , H04L43/0882 , H04L47/6275
Abstract: 本发明公开了一种基于可编程交换机的流量告警方法、装置、设备及介质,该方法对不同优先级的流量进行监测,当流量大于或等于阈值时,可编程交换机会在数据面进行实时告警,并返回给发送端现网中的低优先级流量信息,发送端可通过告警信息调整任务优先级。本发明使用了可编程交换机的设备,可以在数据面实时地将低优先级流量信息告警给发送端而不必经过控制器,显著降低了告警时延,可以让发送端及时调整发送速率,实现了网络流量的实时调度,在保证高优先级流量传输的同时,提高链路利用率。
-
公开(公告)号:CN115951989A
公开(公告)日:2023-04-11
申请号:CN202310247633.1
申请日:2023-03-15
Applicant: 之江实验室
IPC: G06F9/48 , H04L47/2425 , H04L49/111 , G06F9/50
Abstract: 本发明公开了一种基于严格优先级的协同流量调度数值模拟方法与系统,包括以下步骤:采集分布式计算任务的实时执行状态数据、计算阶段用时估测值;基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列;配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息;基于分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中。
-
公开(公告)号:CN118802572B
公开(公告)日:2024-11-29
申请号:CN202411290331.3
申请日:2024-09-14
Applicant: 之江实验室
IPC: H04L41/14 , H04L41/147
Abstract: 本发明公开了一种支持网络多模态共生演化的系统及方法,包括:网络模态演化决策子系统:根据业务需求选择承载业务的网络模态,并确定网络模态是否需要演化或者产生新的网络模态决策;网络模态智能生成子系统:对所述选择的网络模态进行全局规划,确定部署拓扑,并监测网络模态服务质量;网络模态共生平台子系统:根据所述部署拓扑将网络模态实例化在网络资源上,对多种网络模态进行混合调度。本发明针对数字化时代垂直行业的应用多样化需求,建立支持网络多模态共生演化的系统及方法,为多样化网络模态的兼容并蓄、共融共生发展提供理论支撑。
-
-
-
-
-
-
-
-
-