面向大规模GPU集群的分布式训练时间预测方法及装置

    公开(公告)号:CN116258199B

    公开(公告)日:2023-10-10

    申请号:CN202211610735.7

    申请日:2022-12-14

    Applicant: 浙江大学

    Abstract: 本发明公开了面向大规模GPU集群的分布式训练时间预测方法及装置,方案为:基于GPU的硬件特征和神经网络模型的结构特征建立多层感知器模型,逐层预测分布式训练的计算时间;利用回归分析方法对GPU集群中单链路的通信吞吐量与通信数据量之间的关系进行建模;通过分析通信拓扑和分布式训练算法的执行原理得到集群通信模型,进而预测GPU集群的通信时间;根据计算与通信的并行关系提取出分布式训练的关键路径,基于关键路径得到分布式训练时间。本发明用于在分布式训练任务实际部署到大规模GPU集群之前预测其训练时间,从而指导业界研究人员合理分配GPU资源,避免时间和资源的浪费,同时对分布式训练性能优化也具有指导意义。

    面向大规模GPU集群的分布式训练时间预测方法及装置

    公开(公告)号:CN116258199A

    公开(公告)日:2023-06-13

    申请号:CN202211610735.7

    申请日:2022-12-14

    Applicant: 浙江大学

    Abstract: 本发明公开了面向大规模GPU集群的分布式训练时间预测方法及装置,方案为:基于GPU的硬件特征和神经网络模型的结构特征建立多层感知器模型,逐层预测分布式训练的计算时间;利用回归分析方法对GPU集群中单链路的通信吞吐量与通信数据量之间的关系进行建模;通过分析通信拓扑和分布式训练算法的执行原理得到集群通信模型,进而预测GPU集群的通信时间;根据计算与通信的并行关系提取出分布式训练的关键路径,基于关键路径得到分布式训练时间。本发明用于在分布式训练任务实际部署到大规模GPU集群之前预测其训练时间,从而指导业界研究人员合理分配GPU资源,避免时间和资源的浪费,同时对分布式训练性能优化也具有指导意义。

    基于特定网格图案的三维脚型测量和建模的方法

    公开(公告)号:CN1544883A

    公开(公告)日:2004-11-10

    申请号:CN200310108856.2

    申请日:2003-11-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于特定网格图案的三维脚型测量和建模的方法。它用印有网格的袜子穿在人的脚上,然后通过多个数码相机或者摄像机同时拍摄,确保每个网格的角点(corner)被至少两个数码相机或者摄像机拍到,然后基于立体视觉和光学成像的原理,恢复出所有网格角点的三维位置;在此基础上,利用这些恢复出的角点的三维位置,重新拟合出覆盖在人脚上的三维网格,最后根据三维网格对标准脚的空间位置约束,通过变形建模方法,建立特定的三维脚型的模型,并计算出脚型的参数。本发明硬件成本低,并把硬件装置和软件系统有机地结合在一起,既避免了单一的硬件实现的高成本,也避免了单一的软件实现的低精度。本发明可操作性强,而且实现成本低,利于推广使用。

    一种基于AllReduce架构的高效参数同步方法

    公开(公告)号:CN119788688A

    公开(公告)日:2025-04-08

    申请号:CN202411689019.1

    申请日:2024-11-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于AllReduce架构的高效参数同步方法,该方法首先根据底层物理链路带宽对节点进行分组分解,使分解后的链路带宽与通信量相匹配,再根据分解后不同通信阶段的通信量对待通信数据进行分块,最后每个数据块在不同类型链路上以分组分解AllReduce的方式并行地进行参数同步。本发明用于在复杂网络环境下进行高效的参数同步,能克服带宽异构的影响,在多网卡场景下可以高效地并行,单网卡场景下也能利用空闲链路提高并行度,在同构和异构网络环境下都能取得优异的性能表现。

    基于特定网格图案的三维脚型测量和建模的方法

    公开(公告)号:CN100348949C

    公开(公告)日:2007-11-14

    申请号:CN200310108856.2

    申请日:2003-11-25

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于特定网格图案的三维脚型测量和建模的方法。它用印有网格的袜子穿在入的脚上,然后通过多个数码相机或者摄像机同时拍摄,确保每个网格的角点(corner)被至少两个数码相机或者摄像机拍到,然后基于立体视觉和光学成像的原理,恢复出所有网格角点的三维位置;在此基础上,利用这些恢复出的角点的三维位置,重新拟合出覆盖在人脚上的三维网格,最后根据三维网格对标准脚的空间位置约束,通过变形建模方法,建立特定的三维脚型的模型,并计算出脚型的参数。本发明硬件成本低,并把硬件装置和软件系统有机地结合一起,即避免了单一的硬件实现的高成本,也避免了单一的软件实现的低精度,本发明可操作性强,而且实现成本低,利于推广使用。

    一种面向光刻热点检测的模型分块聚合隐私保护方法

    公开(公告)号:CN116756764A

    公开(公告)日:2023-09-15

    申请号:CN202310489532.5

    申请日:2023-05-04

    Applicant: 浙江大学

    Abstract: 本发明公开了一种面向光刻热点检测的模型分块聚合隐私保护方法,每个客户端节点利用本地光刻热点数据集训练局部模型参数,再对参数按特征分块并分别发送给多个中心服务器进行参数聚合,最后中心服务器将聚合完毕的全局模型参数再返回给各客户端节点,并由客户端节点在本地进行模型参数块拼接以进行下一轮迭代。本发明保护了基于联邦学习的光刻热点检测系统中各客户端的本地模型更新参数,解决了更新参数隐私泄露问题,成功防御了对本地光刻热点图像数据的重构攻击,并提高了中心服务器端模型参数聚合和通信速度。

    基于联邦个性化学习的光刻热区检测方法

    公开(公告)号:CN113222031B

    公开(公告)日:2022-04-12

    申请号:CN202110545686.2

    申请日:2021-05-19

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于联邦个性化学习的光刻热区检测方法,中心服务器聚合每个节点返回的全局模型参数,用于融合每个节点的共同特征,更新全局模型参数,再把最新的全局模型参数反馈到每个节点;每个节点从中心服务器下载全局模型参数,然后利用本地数据训练局部模型参数,以找到当前全局模型参数下局部模型参数的最优,用于克服不同节点的模型异构和数据异构;局部模型参数微调之后,节点利用本地数据训练全部参数,以找到当前参数的最优,用于寻找不同节点的共同特征。本发明解决了局部数据过少而产生的模型过拟合问题;保护各芯片设计厂商之间的数据,实现隐私保护;提高了异构环境中联邦个性化学习模型的稳定性和整体精度。

    基于联邦个性化学习的光刻热区检测方法

    公开(公告)号:CN113222031A

    公开(公告)日:2021-08-06

    申请号:CN202110545686.2

    申请日:2021-05-19

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于联邦个性化学习的光刻热区检测方法,中心服务器聚合每个节点返回的全局模型参数,用于融合每个节点的共同特征,更新全局模型参数,再把最新的全局模型参数反馈到每个节点;每个节点从中心服务器下载全局模型参数,然后利用本地数据训练局部模型参数,以找到当前全局模型参数下局部模型参数的最优,用于克服不同节点的模型异构和数据异构;局部模型参数微调之后,节点利用本地数据训练全部参数,以找到当前参数的最优,用于寻找不同节点的共同特征。本发明解决了局部数据过少而产生的模型过拟合问题;保护各芯片设计厂商之间的数据,实现隐私保护;提高了异构环境中联邦个性化学习模型的稳定性和整体精度。

Patent Agency Ranking