-
公开(公告)号：CN116756293A
公开(公告)日：2023-09-15
申请号：CN202311010104.6
申请日：2023-08-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/289 , G06F18/214 , G06F40/211 , G06F40/30 , G06F18/23
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，预先将文本对话生成模型的一次迭代训练过程划分为若干训练阶段，针对该文本对话生成模型的每个训练阶段，获取用于完成该训练阶段的各文本特征，作为当前文本特征，根据各当前文本特征及预设的该训练阶段的精度需求，对各当前文本特征进行聚类，得到聚类后的文本特征，对该聚类后的文本特征进行稀疏处理，得到稀疏后的文本特征，根据该稀疏后的文本特征，执行该训练阶段的训练。本方法通过将模型一次迭代过程分为多个阶段，并根据各阶段的精度需求，对文本特征进行聚类，再稀疏聚类后的文本特征，以根据稀疏聚类后的文本特征对文本对话生成模型进行训练。
-
公开(公告)号：CN116541018B
公开(公告)日：2023-09-15
申请号：CN202310727219.0
申请日：2023-06-19
Applicant: 之江实验室
Abstract: 本说明书公开了一种分布式模型编译系统，该系统的主节点根据模型信息确定模型的逻辑计算图，将逻辑计算图划分为多个逻辑子计算图，针对每一个逻辑子计算图生成调度消息，然后将该调度消息发送到各从节点。各从节点根据收到的调度消息，分配本地计算资源对逻辑子计算图进行编译，并向主节点发送编译完成信息。主节点根据各从节点返回的编译完成信息，确定模型编译完成，并根据编译完毕的模型执行目标业务。子图的编译过程不再由主节点执行，而是分配至各从节点进行，提高从节点计算资源利用率，减少主节点的负载。主节点不再执行全局计算图的编译，还可以减少从节点等待时间，更加充分的利用了主节点和从节点的计算资源和存储资源。
-
公开(公告)号：CN116258197B
公开(公告)日：2023-09-08
申请号：CN202310545694.6
申请日：2023-05-16
Applicant: 之江实验室
Abstract: 基于参数计算和通信调度的分布式训练加速方法，包括：根据反向传播算法各层梯度之间不存在依赖关系的特点，通过调整梯度计算顺序，优先计算模型靠前层的梯度，从而提早梯度的传输时间，使得下轮该层的前向传播过程能够更早开始；对于梯度传输过程，通过动态枚举梯度拆分或融合阈值，并结合实时运行情况来选择性能最优的方案。还包括一种基于参数计算和通信调度的分布式训练加速系统。本发明增加了计算和通信之间的覆盖度，提升了训练性能，且实现上简单灵活，能够快速适配不同的模型及训练环境。
-
公开(公告)号：CN116415103B
公开(公告)日：2023-09-05
申请号：CN202310681557.5
申请日：2023-06-09
Applicant: 之江实验室
IPC: G06F17/16
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质以及电子设备，可以读取存储在指定设备内存的目标数据，并确定目标数据的各数据维度，可以根据目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元可以包括：指定设备中的寄存器以及各级缓存。以按照目标数据拆分方式，对神经网络模型中的待处理数据进行数据处理，从而能够提高神经网络模型中矩阵运算的效率。
-
公开(公告)号：CN116304720B
公开(公告)日：2023-08-25
申请号：CN202310564363.7
申请日：2023-05-18
Applicant: 之江实验室
IPC: G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种代价模型训练的方法、装置、存储介质及电子设备。本方法使用各算子的特征以及各硬件平台的特征构造训练样本，并针对每个算子，将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层，通过各硬件平台对应的门控网络层的加权矩阵，确定训练样本对应各硬件平台的预测运行时间，根据预测运行时间与实际运行时间之间的差异训练代价模型。通过将各硬件平台的特征加入训练样本、在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式，训练得到适用于多个硬件平台的代价模型。
-
Patent Agency Ranking
公开(公告)号：CN116107728B
公开(公告)日：2023-08-18
申请号：CN202310390935.4
申请日：2023-04-06
Applicant: 之江实验室
IPC: G06F9/48
Abstract: 本说明书公开了一种任务执行方法、装置、存储介质及电子设备。所述任务执行方法包括：获取目标模型的模型数据，对模型数据进行解析，确定执行针对目标模型的计算任务时所涉及的指令类型以及指令对象，并基于指令类型以及指令对象，生成各计算指令，针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个目标单元，以及，生成该计算指令对应的推导指令，基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将各物理指令发送到执行各计算指令的目标单元，以执行针对目标模型的计算任务。
-
公开(公告)号：CN116225192B
公开(公告)日：2023-08-01
申请号：CN202310509059.2
申请日：2023-05-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种散热系统的控制方法、装置、存储介质及电子设备，本说明书实施例先根据历史上散热系统对计算集群散热时的各历史记录中确定出用于控制散热的各策略组合，针对每个策略组合，对各历史记录进行处理，确定在该策略组合下特征向量涉及的至少一个特征维度所对应的特征值范围，作为该策略组合的适用条件。根据每个策略组合的适用条件，构建模型，并通过模型输出的目标策略组合控制散热系统。在此方法中，通过对各历史记录进行分析，确定出采用每个策略组合所适用的条件。当需要控制散热系统时，将当前散热系统和计算集群的状态信息与各条件进行匹配，以确定出匹配上的条件所对应的目标策略组合，以控制散热系统。
-
公开(公告)号：CN116155750B
公开(公告)日：2023-08-01
申请号：CN202310417880.1
申请日：2023-04-19
Applicant: 之江实验室
IPC: H04L41/14
Abstract: 本申请涉及一种深度学习作业资源放置方法、系统、设备和存储介质，其中，该方法包括：获取待放置的训练作业以及相应的优先级；基于优先级的顺序，依次根据训练作业的需求资源量，选择作业放置的网络结构；网络结构包括服务器、顶端交换机、容器组集合Podset以及主干层交换机；基于选择的网络结构，将训练过程中网络数据传输量作为优化目标进行最小化优化，得到相应的作业放置方案。通过本申请，能够以训练过程中网络数据传输量作为优化目标，针对训练作业选择放置的不同网络结构，得到相应的作业放置方案，有效减少网络中数据传输来提高集群中资源利用率，解决了统一的训练作业资源放置导致资源利用率低下的问题。
-
公开(公告)号：CN116167461B
公开(公告)日：2023-07-11
申请号：CN202310435496.4
申请日：2023-04-21
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，本方法在前向计算过程中，将后向函数按照前向计算的顺序入栈存储，并通过存储后向函数在栈中的位置与前向输出张量的方式，将前向输出张量与后向函数绑定，既能够在前向计算的过程中构建后向计算图的逻辑，又隐式地维护了前向计算与后向计算之间的依赖联系，使得后向计算确定梯度时的速度和效率得以提高，能够更好的进行模型训练。
-
公开(公告)号：CN116152299B
公开(公告)日：2023-07-11
申请号：CN202310433919.9
申请日：2023-04-21
Applicant: 之江实验室
Abstract: 本说明书公开了一种运动状态的检测方法、装置、存储介质及电子设备。所述运动状态的检测方法包括：针对待检测视频的每帧图像，确定该帧图像对应的全局图像特征，对全局图像特征进行处理，确定目标对象在该帧图像中所对应的局部图像特征，基于所述局部图像特征与目标对象在其他各帧图像中所对应的局部图像特征之间的相似度，根据各帧图像对应的时间信息以及目标对象在各帧图像中的空间信息，确定目标对象在该帧图像中的运动状态特征，根据目标对象在每帧图像中的运动状态特征，确定目标对象对应的运动状态轨迹，并基于运动状态轨迹对目标对象的运动状态进行检测。
-
-
-
-
-
-
-
-
-
Search Results
242
records
(took 0.056 seconds)
