-
-
公开(公告)号:CN118331536A
公开(公告)日:2024-07-12
申请号:CN202410388718.6
申请日:2024-04-01
Applicant: 清华大学
Abstract: 本申请涉及通信技术领域,特别涉及一种浮点数指数压缩方法、装置、发送端、接收端及介质,其中,方法包括:获取数据并行分布式机器学习训练过程中待发送的目标梯度数据;识别目标梯度数据中各个梯度浮点数,从各个梯度浮点数分离出符号位、尾数部分和浮点数指数,对浮点数指数进行编码得到压缩数据;根据符号位、尾数部分和压缩数据生成通信数据,发送通信数据至接收端。由此,解决了相关技术中由于梯度数据量过大导致机间无法及时传输通信数据,从而降低数据并行分布式训练的效率等问题。
-
公开(公告)号:CN118095358B
公开(公告)日:2024-06-25
申请号:CN202410466615.7
申请日:2024-04-18
Applicant: 清华大学
IPC: G06N3/0455 , G06N3/0475 , G06N3/0442 , G06N5/04 , H04L41/16 , H04L41/142 , H04L41/147 , H04L43/0876
Abstract: 本发明涉及数据处理技术领域,特别涉及一种数据中心网络流量超分辨率的生成方法、装置及程序,其中,方法包括:获取网络设备的第一流量统计信息;将第一流量统计信息输入至树状流量超分辨率模型,树状流量超分辨率模型输出第二流量统计信息,其中,第二流量统计信息的统计周期小于第一流量统计信息的统计周期,树状流量超分辨率模型包括多层粒状流量转换器模型,多层粒状流量转换器模型呈树状结构,将第一流量统计信息逐层还原成第二流量统计信息;根据第二流量统计信息生成网络设备的网络流量数据。由此,解决了相关技术中流量生成方法导致网络流量数据的时效性较差、精确度较低以及适用性较低等问题。
-
公开(公告)号:CN118095358A
公开(公告)日:2024-05-28
申请号:CN202410466615.7
申请日:2024-04-18
Applicant: 清华大学
IPC: G06N3/0455 , G06N3/0475 , G06N3/0442 , G06N5/04 , H04L41/16 , H04L41/142 , H04L41/147 , H04L43/0876
Abstract: 本发明涉及数据处理技术领域,特别涉及一种数据中心网络流量超分辨率的生成方法、装置及程序,其中,方法包括:获取网络设备的第一流量统计信息;将第一流量统计信息输入至树状流量超分辨率模型,树状流量超分辨率模型输出第二流量统计信息,其中,第二流量统计信息的统计周期小于第一流量统计信息的统计周期,树状流量超分辨率模型包括多层粒状流量转换器模型,多层粒状流量转换器模型呈树状结构,将第一流量统计信息逐层还原成第二流量统计信息;根据第二流量统计信息生成网络设备的网络流量数据。由此,解决了相关技术中流量生成方法导致网络流量数据的时效性较差、精确度较低以及适用性较低等问题。
-
公开(公告)号:CN118069374B
公开(公告)日:2024-06-18
申请号:CN202410466627.X
申请日:2024-04-18
Applicant: 清华大学
Abstract: 本发明涉及电数字数据处理技术领域,特别涉及一种数据中心智能训练仿真事务加速方法、装置、设备及介质,其中,方法包括:获取当前CPU算力和当前待仿真的GPU算力;根据当前CPU算力和当前待仿真的GPU算力确定当前分布式仿真策略,并在基于当前分布式仿真策略进行仿真时,判断当前分布式仿真策略中的事务队列是否存在确定性仿真事务,若存在确定性仿真事务,则删除确定性仿真事务,并基于剩余仿真事务进行加速仿真。由此,解决了相关技术的仿真系统效率低,耗时长等问题,通过大模型集群的结构和模型训练的特征,运用多CPU核的分布式仿真以降低整个仿真系统的事务数量,从而提高仿真效率。
-
公开(公告)号:CN118075143A
公开(公告)日:2024-05-24
申请号:CN202410466649.6
申请日:2024-04-18
Applicant: 清华大学
Abstract: 本发明涉及网络仿真技术领域,特别涉及一种数据中心网络拥塞控制协议仿真方法、系统、架构及设备,其中,方法包括:识别数据中心网络协议栈的套接字层、拥塞控制层和网络层;套接字层、拥塞控制层和网络层分别抽象成实体;在每个层内部和层之间分别使用不同的通信架构,基于每个层对应实体和不同的通信架构实现数据中心网络拥塞控制协议的高性能仿真。由此,解决了现有离散事件的仿真方法不适用于对数据中心网络拥塞控制协议仿真等问题。
-
公开(公告)号:CN118075143B
公开(公告)日:2024-06-18
申请号:CN202410466649.6
申请日:2024-04-18
Applicant: 清华大学
Abstract: 本发明涉及网络仿真技术领域,特别涉及一种数据中心网络拥塞控制协议仿真方法、系统、架构及设备,其中,方法包括:识别数据中心网络协议栈的套接字层、拥塞控制层和网络层;套接字层、拥塞控制层和网络层分别抽象成实体;在每个层内部和层之间分别使用不同的通信架构,基于每个层对应实体和不同的通信架构实现数据中心网络拥塞控制协议的高性能仿真。由此,解决了现有离散事件的仿真方法不适用于对数据中心网络拥塞控制协议仿真等问题。
-
公开(公告)号:CN118069374A
公开(公告)日:2024-05-24
申请号:CN202410466627.X
申请日:2024-04-18
Applicant: 清华大学
Abstract: 本发明涉及电数字数据处理技术领域,特别涉及一种数据中心智能训练仿真事务加速方法、装置、设备及介质,其中,方法包括:获取当前CPU算力和当前待仿真的GPU算力;根据当前CPU算力和当前待仿真的GPU算力确定当前分布式仿真策略,并在基于当前分布式仿真策略进行仿真时,判断当前分布式仿真策略中的事务队列是否存在确定性仿真事务,若存在确定性仿真事务,则删除确定性仿真事务,并基于剩余仿真事务进行加速仿真。由此,解决了相关技术的仿真系统效率低,耗时长等问题,通过大模型集群的结构和模型训练的特征,运用多CPU核的分布式仿真以降低整个仿真系统的事务数量,从而提高仿真效率。
-
-
-
-
-
-
-
-