-
公开(公告)号：CN114127740A
公开(公告)日：2022-03-01
申请号：CN202080051343.4
申请日：2020-06-09
Applicant: 微软技术许可有限责任公司
Inventor： B·普蒂佩迪 , M·特伦布莱 , S·S·布哈拉德瓦杰 , D·帕特尔 , 奚锦文 , M·梅斯马霍斯罗沙希
Abstract: 本文中描述了启用大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行的方法、系统、装置和计算机程序产品，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。为了提高效率，可以将输入样本划分为微批次，并且按顺序执行的多个微批次可以形成迷你批次。可以调节一组微批次或迷你批次的大小以减少通信开销。可以在参数服务器和目标设备处执行多级并行的参数缩减。
Search Results
1
records
(took 0.022 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
