公开(公告)号：CN119005345A

公开(公告)日：2024-11-22

申请号：CN202411486703.X

申请日：2024-10-23

Applicant: 之江实验室

Inventor： 刘晓宇 ,  梅飞 ,  程稳 ,  滕会刚 ,  余波 ,  孔丽娟 ,  朱春节 ,  何水兵 ,  曾令仿

IPC: G06N5/04

Abstract: 本说明书公开了一种大模型推理服务的动态批处理方法及装置，在服务器通过目标大模型执行批处理推理任务的过程中，通过预设的强化学习代理模型在满足预设延迟约束的前提下，以优化目标大模型执行推理任务的吞吐量为优化目标，来针对目标大模型所使用的批尺寸进行动态调整，从而可以在确保服务响应及时性的基础上最大化利用计算资源。

公开(公告)号：CN118396140B

公开(公告)日：2024-09-13

申请号：CN202410849948.8

申请日：2024-06-27

Applicant: 之江实验室

Inventor： 刘懿 ,  王绍林 ,  胡陈枢 ,  程稳 ,  曾令仿 ,  李勇 ,  崔钰 ,  刘晓宇 ,  余波

IPC: G06N20/20

Abstract: 本说明书公开了一种分布式模型训练系统及方法，第二计算节点基于适应度函数确定各树型结构模型的当前适应度，选择目标树型结构模型，第一计算节点选择参考树型结构模型，根据参考树型结构模型和目标树型结构模型，生成进化操作执行任务，将其分配给各第二计算节点，使其执行各进化操作执行任务，得到更新后的树型结构模型，第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型，并以此构建当前待训练模型，迭代多次直到满足第一预设条件，得到训练完成的目标模型。可见，上述方案实现了基于大型计算集群的分布式训练的适配，解决了大型树型模型占用计算资源高的问题，提升了大型树型模型的训练效率。

公开(公告)号：CN119005345B

公开(公告)日：2025-03-21

申请号：CN202411486703.X

申请日：2024-10-23

Applicant: 之江实验室

Inventor： 刘晓宇 ,  梅飞 ,  程稳 ,  滕会刚 ,  余波 ,  孔丽娟 ,  朱春节 ,  何水兵 ,  曾令仿

IPC: G06N5/04

Abstract: 本说明书公开了一种大模型推理服务的动态批处理方法及装置，在服务器通过目标大模型执行批处理推理任务的过程中，通过预设的强化学习代理模型在满足预设延迟约束的前提下，以优化目标大模型执行推理任务的吞吐量为优化目标，来针对目标大模型所使用的批尺寸进行动态调整，从而可以在确保服务响应及时性的基础上最大化利用计算资源。

公开(公告)号：CN117522669B

公开(公告)日：2024-03-26

申请号：CN202410025766.9

申请日：2024-01-08

Applicant: 之江实验室

Inventor： 余波 ,  李勇 ,  曾令仿 ,  陈光

IPC: G06T1/60 ,  G06N3/045 ,  G06N3/08 ,  G06T1/20

Abstract: 本说明书公开了一种图形处理器内存优化方法、装置、介质及设备，确定处理系统当前训练的各神经网络模型。针对每个图形处理器，确定当前执行的网络层输出的各张量以及各张量的张量信息。将张量信息中的生命周期未达到预设阈值的各张量，作为短时张量。针对每个短时张量，根据该短时张量的张量信息中的调用路径，判断神经网络模型的下一网络层是否需要调用该短时张量。若是，则将该短时张量存储该图形处理器的存储器中。若否，则将该短时张量发送至空闲的图形处理器中。通过将短时张量发送至空闲的图形处理器，避免了将图形处理器的短时张量存储到其他非图形处理器的存储器的问题，降低了通信开销，提高了模型训练的性能。

公开(公告)号：CN118396140A

公开(公告)日：2024-07-26

申请号：CN202410849948.8

申请日：2024-06-27

Applicant: 之江实验室

Inventor： 刘懿 ,  王绍林 ,  胡陈枢 ,  程稳 ,  曾令仿 ,  李勇 ,  崔钰 ,  刘晓宇 ,  余波

IPC: G06N20/20

Abstract: 本说明书公开了一种分布式模型训练系统及方法，第二计算节点基于适应度函数确定各树型结构模型的当前适应度，选择目标树型结构模型，第一计算节点选择参考树型结构模型，根据参考树型结构模型和目标树型结构模型，生成进化操作执行任务，将其分配给各第二计算节点，使其执行各进化操作执行任务，得到更新后的树型结构模型，第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型，并以此构建当前待训练模型，迭代多次直到满足第一预设条件，得到训练完成的目标模型。可见，上述方案实现了基于大型计算集群的分布式训练的适配，解决了大型树型模型占用计算资源高的问题，提升了大型树型模型的训练效率。

公开(公告)号：CN117522669A

公开(公告)日：2024-02-06

申请号：CN202410025766.9

申请日：2024-01-08

Applicant: 之江实验室

Inventor： 余波 ,  李勇 ,  曾令仿 ,  陈光

IPC: G06T1/60 ,  G06N3/045 ,  G06N3/08 ,  G06T1/20

Abstract: 本说明书公开了一种图形处理器内存优化方法、装置、介质及设备，确定处理系统当前训练的各神经网络模型。针对每个图形处理器，确定当前执行的网络层输出的各张量以及各张量的张量信息。将张量信息中的生命周期未达到预设阈值的各张量，作为短时张量。针对每个短时张量，根据该短时张量的张量信息中的调用路径，判断神经网络模型的下一网络层是否需要调用该短时张量。若是，则将该短时张量存储该图形处理器的存储器中。若否，则将该短时张量发送至空闲的图形处理器中。通过将短时张量发送至空闲的图形处理器，避免了将图形处理器的短时张量存储到其他非图形处理器的存储器的问题，降低了通信开销，提高了模型训练的性能。