一种数据中心里分布式机器学习数据重排的传输优化方法

    公开(公告)号:CN111917648A

    公开(公告)日:2020-11-10

    申请号:CN202010611841.1

    申请日:2020-06-30

    Inventor: 梁俊鹏 杨磊

    Abstract: 本发明属于数据中心传输优化技术领域,公开一种数据中心里分布式机器学习数据重排的传输优化方法,包括:获取连接各台机器的网络拓扑结构;确定每台机器下一轮被分配到的样本集以及其当前存储中的样本集,建立机器间的样本依赖关系图;基于依赖关系图确定可用于编码的样本组合,同时为样本组合匹配发送节点,最后根据网络拓扑动态地计算需要消耗的网络跳数并参照评价公式选出最佳的样本组合方案和发送节点;把最佳的样本组合代表的数据包根据插入规则插入到其发送节点对应机器的发送队列;重复以上过程,直至所有需要传输的样本都已被插入到发送队列。本发明能够有效地降低数据重排对数据中心网络造成的压力,从而加速分布式机器学习的训练速度。

    一种基于侦听机制的体域网紧急数据时隙分配方法

    公开(公告)号:CN111757286A

    公开(公告)日:2020-10-09

    申请号:CN202010498777.0

    申请日:2020-06-04

    Abstract: 本发明公开了一种基于侦听机制的体域网紧急数据时隙分配方法,包括如下步骤:确定节点发送普通数据和紧急数据基本规则;确定没有节点发送紧急数据的时隙分配方式;确定单个节点发送紧急数据的时隙分配方式;确定多个节点发送紧急数据的时隙分配方式。本发明采用侦听机制,当节点产生紧急数据时,立刻在侦听期T0发送占用信号,占用原本发送普通数据的时隙发送紧急数据;当多个节点同时产生紧急数据并产生传输冲突时,开启竞争阶段,各个节点采用竞争方式发送紧急数据;在竞争阶段,设计基于节点优先级的退避策略,并根据网络规模调整退避窗口的变化速度,提高传输资源利用率并减少重传冲突概率,保障紧急数据传输的实时性和可靠性。

    一种基于自主模型聚合的聚合结构优化方法

    公开(公告)号:CN118114059A

    公开(公告)日:2024-05-31

    申请号:CN202311783772.2

    申请日:2023-12-22

    Inventor: 杨磊 陈瑾如

    Abstract: 本发明公开了一种基于自主模型聚合的聚合结构优化方法,包括:根据聚合分组协议为系统内节点分配角色,获得聚合节点候选集;为候选集内节点的局部模型输入本地数据,计算输出层之间的相似性,获得相似性矩阵;计算所有可能的分组节点集合,获得分组的相似度得分;计算所有可能的分组节点集合的连通性,判断是否存在孤立的连通子图;根据相似度得分和历史分组信息构建聚合分组,进行参数聚合和模型更新操作。本发明采用自主模型聚合的方法实现训练过程中模型聚合结构的动态构建,减少了动态环境中节点的等待时间和通信时间,在聚合过程中通过对聚合节点的选择来减少统计异质性对训练的影响。本发明可广泛应用于模型聚合结构优化领域。

    一种针对层次化模型训练框架的聚合频率控制方法

    公开(公告)号:CN114357676B

    公开(公告)日:2024-04-02

    申请号:CN202111535624.X

    申请日:2021-12-15

    Inventor: 杨磊 甘颖棋

    Abstract: 本发明公开了一种针对层次化模型训练框架的聚合频率控制方法,包括以下步骤:确定层次化模型训练聚合拓扑;定义在层次化模型训练框架下,采用弱同步的通信方式进行模型训练和聚合的过程;基于层次化模型训练聚合拓扑,对每个边缘节点进行资源建模;根据每个边缘节点的计算资源和通信资源,使用启发式的算法输出每个边缘节点的聚合频率,使得同一层的边缘节点具有不同的聚合频率,达到资源利用率的最大化;为了解决边缘节点聚合频率相差太大所带来的精度损失,使用自适应的方法,在模型训练的过程中动态地调整节点的聚合频率。本发明能够解决异构的边缘环境下,使用强同步的通信方法,造成通信时间长、资源利用率低以及训练效果不佳的问题。

    一种时间敏感网络中的数据流调度方法、装置及介质

    公开(公告)号:CN116527573A

    公开(公告)日:2023-08-01

    申请号:CN202310236013.8

    申请日:2023-03-10

    Inventor: 杨磊 程昊

    Abstract: 本发明公开了一种时间敏感网络中的数据流调度方法、装置及介质,其中方法包括:获取多条TSN数据流;对获得的TSN数据流进行序列化处理;为每条TSN数据流生成多条冗余路由;采用强化学习为每条TSN数据流做冗余路由决策;在获得TSN数据流的路由之后,通过早期调度方法获取调度表,并为每条TSN数据流分配时隙;判断当前TSN数据流是否为最后一条待处理的TSN数据流,若是,根据分配结果传输TSN数据流;反之,返回执行采用强化学习为每条TSN数据流做冗余路由决策这一步骤。本发明先确定冗余路径候选集,然后结合强化学习来从候选中学习多路由流的选择策略,该策略可以动态地了解网络状态,以减少网络瓶颈链路上的负载,可广泛应用于通信流调度技术领域。

    基于强化学习的分布式任务卸载方法、装置和存储介质

    公开(公告)号:CN116467005A

    公开(公告)日:2023-07-21

    申请号:CN202310196393.7

    申请日:2023-03-02

    Inventor: 杨磊 林泓材

    Abstract: 本发明公开了一种基于强化学习的分布式任务卸载方法、装置和存储介质,其中方法包括:对系统进行建模,利用系统模型定义优化问题;将优化问题转化为分布式部分观测的马尔科夫决策过程,确定观测、动作和奖励;在系统中部署启发式算法,收集任务运行日志;根据收集的任务运行日志,利用离线训练算法训练Actor、Critic模型;将离线阶段训练的Actor、Critic模型部署到系统中;在系统运行过程中,根据在线微调算法更新Actor、Critic模型。本发明在离线阶段,利用启发式方法的任务运行日志训练一个离线强化学习模型来热启动模型,在系统运行过程中,根据在线微调算法更新模型,提高模型的性能。本发明可广泛应用于计算卸载技术领域。

    针对流式数据的联邦类增量学习方法、系统、装置及介质

    公开(公告)号:CN116431679A

    公开(公告)日:2023-07-14

    申请号:CN202310210206.6

    申请日:2023-03-06

    Inventor: 杨磊 卢彦谚

    Abstract: 本发明公开了一种针对流式数据的联邦类增量学习方法、装置及介质,其中方法包括:服务器初始化全局特征提取器并下发给客户端;客户端收到包含新类的新数据以及全局特征提取器;根据融合比例融合全局特征提取器和本地特征提取器;将当前的新数据和保存的旧类代表性样本按到达时间划分成若干个元任务;利用增量元学习方法在新旧任务上进行训练,更新融合比例以及本地模型,全局特征提取器不更新;客户端将融合的特征提取器参数发送至服务器进行聚合,作为下一轮的全局特征提取器。本发明通过融合比例动态地提取全局特征提取器中对客户端有利的知识,防止异构数据对客户端本地模型的干扰,减轻灾难性遗忘问题,可广泛应用于人工智能技术领域。

    一种针对数据异构性的个性化联邦元学习方法

    公开(公告)号:CN114357067A

    公开(公告)日:2022-04-15

    申请号:CN202111535626.9

    申请日:2021-12-15

    Inventor: 杨磊 黄家明

    Abstract: 本发明公开了一种针对数据异构性的个性化联邦元学习方法,包括以下步骤:确定各个客户端初始化阶段时的自动编码器结构以及个性化阶段时的元模型结构;初始化联邦训练阶段的参数;根据客户端上传的本地数据分布向量对客户端进行分组;对每个组内的客户端模型进行聚合并下发给组内的客户端进行下一轮迭代;联邦训练结束后,客户端在其组内元模型及其本地数据上进行微调产生个性化模型。本发明在客户端参与联邦训练时,依据其每一轮上传的本地数据分布向量,动态将数据分布近似的客户端划分到同一组中并为每一组设置对应的元模型,进而缓解在数据高度异构的环境下引起的模型收敛慢且准确率低的问题。

    一种应用于TSN网络的冗余流调度方法

    公开(公告)号:CN112565068A

    公开(公告)日:2021-03-26

    申请号:CN202011306704.3

    申请日:2020-11-20

    Inventor: 李宏韬 杨磊

    Abstract: 本发明公开了一种应用于TSN网络的冗余流调度方法,包括:确定TSN网络拓扑;确定待调度流的集合;初始化调度表参数;对已有路由集合进行排序;按顺序调度路由集合中每条端到端路由。本发明在调度冗余流时:将超周期被划分为若干个时间片,每个时间片的长度刚好能够容纳一个最小数据帧,调度以时间片为最细粒度进行,以提高调度计算效率;优先调度长路由,当短路由与长路由发生交叠时,允许在一定时间范围内延迟短路由的时间段来复用长路由已经分配好的时间片,以提高时间资源利用率。

    一种针对有状态数据流应用的计算卸载方法

    公开(公告)号:CN110366210A

    公开(公告)日:2019-10-22

    申请号:CN201910536020.3

    申请日:2019-06-20

    Inventor: 丁绍帅 杨磊

    Abstract: 本发明公开了一种针对有状态数据流应用的计算卸载方法,包括以下步骤:选择研究场景;获取研究对象;根据时间动态变化设置网络环境;制定优化目标,最小化总完成时间和减少状态量的传输;根据约束条件,构建有状态的数据流应用程序模型,所述约束条件为:模块间依赖关系约束、状态量迁移约束、网络带宽约束;通过有状态的数据流应用程序模型,对问题进行判断,如果是离线问题,则执行离线问题方法;如果是在线问题,则执行在线问题方法;对问题进行求解,实现对有状态数据流应用程序的计算卸载。

Patent Agency Ranking