浮点数尾数压缩方法、装置、发送端、接收端及介质

    公开(公告)号:CN118331535A

    公开(公告)日:2024-07-12

    申请号:CN202410388717.1

    申请日:2024-04-01

    Applicant: 清华大学

    Abstract: 本申请涉及通信技术领域,特别涉及一种浮点数尾数压缩方法、装置、发送端、接收端及介质,其中,方法包括:获取数据并行分布式机器学习训练过程中待发送的目标梯度数据;识别目标梯度数据中各个梯度浮点数和梯度对应参数,从各个梯度浮点数分离出浮点数尾数和指数部分,基于梯度对应参数确定浮点数尾数的量化等级;基于量化等级对浮点数尾数进行移位压缩得到压缩数据,根据压缩数据、指数部分和量化等级生成通信数据,发送通信数据至接收端。由此,解决了相关技术中由于梯度数据量过大导致机间无法及时传输通信数据,从而降低数据并行分布式训练的效率等问题。

Patent Agency Ranking