-
公开(公告)号：CN112101565A
公开(公告)日：2020-12-18
申请号：CN202010937393.4
申请日：2020-09-08
Applicant: 支付宝(杭州)信息技术有限公司
Inventor： 赵军平
Abstract: 本说明书提供一种基于加速芯片的模型迭代实现方法，包括：确定在机器学习模型训练或推理的一次迭代中执行的所有计算函数、计算函数的执行顺序、以及计算函数的输入参数和输出参数；将所有计算函数划分为N个并行队列，每个并行队列中的计算函数按照执行顺序排列；N为不小于2的自然数；采用计算函数的输入参数和输出参数，发现所有并行队列之间相互的队列依赖关系；对具有队列依赖关系的两个计算函数，在被依赖的计算函数上添加执行完毕的通知事件，在具有函数依赖的计算函数上添加对所述通知事件的依赖；并行执行所述N个并行队列。
-
公开(公告)号：CN119443173A
公开(公告)日：2025-02-14
申请号：CN202411442369.8
申请日：2024-10-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书提供了一种用于大语言模型推理的显存管理方法、设备、介质和产品，应用于部署有大语言模型的服务设备；所述方法包括：对所述服务设备上的物理显存资源进行分配，以分别映射至缓存对象为键值缓存的第一显存资源池和缓存对象为中间激活值的第二显存资源池；针对提交至所述大语言模型的推理任务，若判定所述第一显存资源池与所述第二显存资源池中任一显存资源池的空闲显存资源不足以为所述推理任务缓存相应的缓存对象，则将另一显存资源池的至少一部分空闲显存资源临时借调至所述任一显存资源池。
-
公开(公告)号：CN119356823A
公开(公告)日：2025-01-24
申请号：CN202411883976.8
申请日：2024-12-19
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供用于模型训练的迭代计算方法和迭代计算装置。在每轮迭代计算时，在GPU设备上使用当前迭代过程的训练数据顺序执行待训练模型的每层前向计算任务并使用最后层的前向计算结果逆序执行待训练模型的每层反向计算任务。紧接着每层反向计算任务完成，根据模型参数更新任务执行计划，将该层模型结构的模型参数更新任务分配给GPU设备或CPU设备来使用该层反向计算任务所得到的梯度信息执行该层模型的模型参数更新任务，其中，模型参数更新任务执行计划使得部分模型参数更新任务在CPU设备上执行以及剩余模型参数更新任务在GPU设备上执行，并且GPU设备上执行的模型参数更新任务紧接对应层模型结构的反向计算任务执行。
-
公开(公告)号：CN118312333A
公开(公告)日：2024-07-09
申请号：CN202410743233.4
申请日：2024-06-07
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书的实施例提供了一种基于GPU多stream并发的显存复用方法和装置。在该基于GPU多stream并发的显存复用方法中，至少两个GPU stream并发执行，各个GPU stream中包括以执行顺序排列的GPU指令，在默认stream复用模式下，可以根据待分配显存的GPU指令所属的当前GPU stream对应的已释放显存以及当前GPU stream是否为默认stream，判断用于存储已释放显存块的显存池中是否存在候选可复用显存块；若存在候选可复用显存块，从候选可复用显存块中确定出为待分配显存的GPU指令分配的显存块。
-
公开(公告)号：CN114398182B
公开(公告)日：2024-06-18
申请号：CN202210071431.1
申请日：2022-01-21
Applicant: 支付宝(杭州)信息技术有限公司
Inventor： 赵军平
Abstract: 本说明书实施例提供了用于对GPU显存复用方案进行优化的方法及装置。在该方法中，确定应用程序运行所需访问的内存对象以及各个内存对象的访问次序和数据量；根据访问次序的先后顺序以及数据量大小顺序对各个内存对象进行排序，以得到内存对象序列；从内存对象序列中选择第一数量的数据量最大的内存对象；根据所选择的内存对象的数据量将GPU显存划分为包括第一数量的内存段；循环执行以下内存对象分配过程，直至生成第二数量的分配序列：将内存对象序列中未分配的其他内存对象分配至各个内存段中，以生成分配序列；以及利用遗传算法以及数据迁移量对多个分配序列进行处理，以选出数据迁移量最小的分配序列作为GPU显存复用方案。
-
Patent Agency Ranking
公开(公告)号：CN111782407B
公开(公告)日：2023-11-21
申请号：CN202010772701.2
申请日：2020-08-04
Applicant: 支付宝(杭州)信息技术有限公司
Inventor： 赵军平
-
公开(公告)号：CN116450564A
公开(公告)日：2023-07-18
申请号：CN202310707879.2
申请日：2023-06-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F15/173
Abstract: 本说明书实施例提供一种多处理卡间的数据传输方法和系统，涉及计算机技术领域，其技术要点包括：通过数据传输客户端接收应用进程的调用向数据传输服务进程发起卡间数据传输请求；通过数据传输服务进程从源地址对应的第一处理卡到目标地址对应的第二处理卡之间的两条以上通道中选择一条以上的目标通道，并将目标通道标识返回给所述数据传输客户端；通过数据传输客户端基于目标通道的数量和待传输数据得到所述待传输数据的一个以上数据子集；通过数据传输客户端基于所述一个以上数据子集，向与目标通道相关的处理卡上的传输进程发起数据传输指令；通过与目标通道相关的处理卡上的传输进程将相应数据子集进行传输。
-
公开(公告)号：CN112101565B
公开(公告)日：2023-07-11
申请号：CN202010937393.4
申请日：2020-09-08
Applicant: 支付宝(杭州)信息技术有限公司
Inventor： 赵军平
Abstract: 本说明书提供一种基于加速芯片的模型迭代实现方法，包括：确定在机器学习模型训练或推理的一次迭代中执行的所有计算函数、计算函数的执行顺序、以及计算函数的输入参数和输出参数；将所有计算函数划分为N个并行队列，每个并行队列中的计算函数按照执行顺序排列；N为不小于2的自然数；采用计算函数的输入参数和输出参数，发现所有并行队列之间相互的队列依赖关系；对具有队列依赖关系的两个计算函数，在被依赖的计算函数上添加执行完毕的通知事件，在具有函数依赖的计算函数上添加对所述通知事件的依赖；并行执行所述N个并行队列。
-
公开(公告)号：CN113485832A
公开(公告)日：2021-10-08
申请号：CN202110777376.3
申请日：2021-07-09
Applicant: 支付宝(杭州)信息技术有限公司
Inventor： 赵军平
Abstract: 本说明书实施例提供了一种用于对物理内存池进行分配管理的方法及装置、物理内存池。物理内存池由系统中的GPU显存和其他物理内存构成，物理内存池的管理结构信息包括已释放内存对象集和已分配内存对象集，已释放内存对象集包括物理内存池中经过分配后当前已释放的空闲内存对象，已分配内存对象集包括物理内存池中已分配且当前在使用的内存对象。在该方法中，响应于请求指定容量的内存，在已释放内存对象集中查询是否存在指定容量的内存对象；若存在，对所查询到的指定容量的内存对象进行分配；以及将所分配的内存对象从已释放内存对象集中删除，并增加至已分配内存对象集。
-
公开(公告)号：CN113377545A
公开(公告)日：2021-09-10
申请号：CN202110772139.8
申请日：2021-07-08
Applicant: 支付宝(杭州)信息技术有限公司
Inventor： 赵军平
IPC: G06F9/50
Abstract: 本说明书实施例提供了一种用于分配GPU显存的方法及装置。在该方法中，响应于显存请求，在该请求指定的GPU显存对应配置的预设虚拟内存中分配第一虚拟内存，预设虚拟内存的容量大于GPU显存的容量；反馈第一虚拟内存对应的虚拟内存指针，虚拟内存指针对应有虚拟内存指针管理结构，虚拟内存指针管理结构包括第一虚拟内存的容量、与第一虚拟内存对应映射的物理内存地址；在执行内存访问操作时，在GPU显存上分配与所述第一虚拟内存相同容量的第一显存；以及根据所分配的第一显存来更新虚拟内存指针管理结构中的物理内存地址，以使内存访问驱动根据物理内存地址访问第一显存。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.044 seconds)
