-
公开(公告)号:CN117195997A
公开(公告)日:2023-12-08
申请号:CN202311464150.3
申请日:2023-11-06
Applicant: 之江实验室
IPC: G06N3/08 , G06F18/214 , G06F3/06
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备,在此方法中,待训练模型部署在本地节点的计算区中,并在本地节点中部署高速缓存区以及在计算区中部署数据生成模型。在实际模型训练过程中,将训练所需要的目标数据缓存在高速缓存区中,以便计算区从高速缓存区直接进行数据读取,来进行模型训练,若没有读取到数据,则通过数据生成模型根据索引值生成的目标数据,进一步进行模型训练,并在模型训练过程中,保证模型准确度的情况下,对模型进行模型压缩,来减少模型参量。通过减少对存储区的数据访问次数以及对模型进行模型压缩,从而在一定程度上提高模型训练效率和减少存储资源浪费。
-
公开(公告)号:CN116225192B
公开(公告)日:2023-08-01
申请号:CN202310509059.2
申请日:2023-05-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种散热系统的控制方法、装置、存储介质及电子设备,本说明书实施例先根据历史上散热系统对计算集群散热时的各历史记录中确定出用于控制散热的各策略组合,针对每个策略组合,对各历史记录进行处理,确定在该策略组合下特征向量涉及的至少一个特征维度所对应的特征值范围,作为该策略组合的适用条件。根据每个策略组合的适用条件,构建模型,并通过模型输出的目标策略组合控制散热系统。在此方法中,通过对各历史记录进行分析,确定出采用每个策略组合所适用的条件。当需要控制散热系统时,将当前散热系统和计算集群的状态信息与各条件进行匹配,以确定出匹配上的条件所对应的目标策略组合,以控制散热系统。
-
公开(公告)号:CN116777010B
公开(公告)日:2023-12-19
申请号:CN202311080508.2
申请日:2023-08-25
Applicant: 之江实验室
IPC: G06N20/00
Abstract: 本说明书公开了一种模型训练的方法以及任务执行方法及装置,可以将获取到的在指定空间中混合物态在第一时刻下的各物理场数据输入到预测模型中,来训练该预测模型,这样一来,在将训练后的预测模型应用到实际任务执行的过程中时,相比于现有技术并不需要耗费过多的时间来一步步推导出下一时刻的指定空间中混合物态在第二时刻下的各物理场数据,这样不仅提高了预测物理场数据的效率,而且由于在训练阶段,是以混合物态在第一时刻和第二时刻前后之间的质量分布符合质量约束为条件,对预测模型进行训练,所以可以保证预测模型在实际应用中所预测出的物理场数据的准确性。(56)对比文件Shuai Wang et al..Multi-scalenumerical simulation of fluidized beds:Model applicability assessment.《Particuology 80》.2022,11-41.
-
公开(公告)号:CN116776135B
公开(公告)日:2023-12-19
申请号:CN202311072802.9
申请日:2023-08-24
Applicant: 之江实验室
IPC: G06F18/2136 , G06N3/0464
Abstract: 本说明书公开了一种基于神经网络模型的物理场数据预测方法及装置,可以根据物理场数据整体在数据空间中各空间区域的数据稀疏情况,来对物理场数据进行划分,得到各分块数据,这样可以将具有计算价值的数据从物理场数据的整体中分割出来,使得预测模型对有价值的分块数据进行计算,以完成物理场数据的预测任务,从而相比于现有技术来说,可以显著的提升预测模型的运算效率。
-
公开(公告)号:CN116382599B
公开(公告)日:2023-08-29
申请号:CN202310669715.5
申请日:2023-06-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种面向分布式集群的任务执行方法、装置、介质及设备。所述面向分布式集群的任务执行方法包括:获取样本数据,根据磁盘带宽和本地延迟,以及网络带宽和网络延迟,对样本数据的数量进行划分,将第一样本数量的样本数据存储在各计算节点的本地磁盘,将第二样本数量的样本数据存储在存储节点,针对每个计算节点,将该计算节点的本地磁盘中指定数量的样本数据与其他计算节点的本地磁盘中的样本数据进行交换,得到更新后样本数据,以及,从所述存储节点中读取远端样本数据,根据更新后本地样本数据和远端样本数据,在该计算节点上执行当前训练周期针对目标模型的训练任务。
-
公开(公告)号:CN116436962A
公开(公告)日:2023-07-14
申请号:CN202310376290.9
申请日:2023-03-31
Applicant: 之江实验室
IPC: H04L67/2885 , H04L67/10
Abstract: 面向DFS的全局聚合命名空间下跨计算节点的持久性缓存方法,包括:所有计算节点能按需访问存储在宿主计算节点、远端计算节点或数据存储服务器的任意文件;计算节点根据任务需求和元数据服务器给出的文件布局信息,通过策略引擎预设的缓存预取策略,反向使用条带化技术,根据缓存类型需求,将相关文件从数据存储服务器端复制或迁移到相应的多个计算节点本地持久性缓存设备;当缓存在多个计算节点的数据满足预设条件时,通过策略引擎预设的缓存替换或驱逐策略,将对相关计算节点端数据进行替换或驱逐到数据存储服务器端;根据待操作的相关文件是否已经缓存到对应计算节点本地持久性存储器中的情形,协同完成相关操作。
-
公开(公告)号:CN119294274A
公开(公告)日:2025-01-10
申请号:CN202411832029.6
申请日:2024-12-12
Applicant: 之江实验室
IPC: G06F30/27 , G06N20/00 , G06F111/04
Abstract: 本说明书公开了一种深度学习加速器软硬件协同方法及装置,在此方法中,通过软件优化器基于初始硬件参数配置样本,确定候选模型运行信息后,通过硬件优化器,基于候选模型运行信息对应的任务效率表征值,确定下轮迭代的初始硬件参数配置样本,若监测到到达预设轮次后前后两轮所对应的初始硬件参数配置样本对应的任务效率表征值之间的偏差小于预设偏差,则将满足预设迭代条件时得到的初始硬件参数配置样本,作为目标硬件参数配置,以及将软件优化器基于目标硬件参数配置所确定的候选模型运行信息对应的候选模型运行方式,作为目标模型运行方式。通过多轮迭代对软件和硬件不断进行协同配置,以实现针对给定模型集合的最优加速器规格参数。
-
公开(公告)号:CN116777010A
公开(公告)日:2023-09-19
申请号:CN202311080508.2
申请日:2023-08-25
Applicant: 之江实验室
IPC: G06N20/00
Abstract: 本说明书公开了一种模型训练的方法以及任务执行方法及装置,可以将获取到的在指定空间中混合物态在第一时刻下的各物理场数据输入到预测模型中,来训练该预测模型,这样一来,在将训练后的预测模型应用到实际任务执行的过程中时,相比于现有技术并不需要耗费过多的时间来一步步推导出下一时刻的指定空间中混合物态在第二时刻下的各物理场数据,这样不仅提高了预测物理场数据的效率,而且由于在训练阶段,是以混合物态在第一时刻和第二时刻前后之间的质量分布符合质量约束为条件,对预测模型进行训练,所以可以保证预测模型在实际应用中所预测出的物理场数据的准确性。
-
公开(公告)号:CN116502679B
公开(公告)日:2023-09-05
申请号:CN202310543696.1
申请日:2023-05-15
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/063 , G06N3/08
Abstract: 本说明书公开了一种模型构建方法、装置、存储介质及电子设备,可以对需要进行测试的各候选模型架构进行筛选,以筛选出通过代理模型预测出的性能参数的准确率较低的部分候选模型架构,来通过部署测试模型的方式获得该候选模型架构的真实性能参数,而针对剩余的候选模型架构,可以直接通过代理模型来获取出性能参数,并且可以通过主动学习的方法,在线对代理模型进行训练,从而可以在保证候选模型架构的性能评估准确率的同时,提升自动化构建深度学习模型的效率。
-
公开(公告)号:CN119785161A
公开(公告)日:2025-04-08
申请号:CN202510274959.2
申请日:2025-03-10
Applicant: 之江实验室
Abstract: 本说明书公开了一种遥感影像融合方法、装置、存储介质及电子设备。在采用本说明书提供的遥感影像融合方法实现卫星采集的多光谱影像与全色影像之间的融合时,可首先对多光谱影像和全色影像进行分块处理,得到多光谱影像子图与全色影像子图;随后对描述相同区域的多光谱影像子图和全色影像子图进行融合,得到融合影像子图;最终合并各融合影像子图得到目标融合影像。采用本方法可使遥感影像融合的全过程在星载计算机上实现,充分利用星载计算机的空闲算力的同时,大幅减少了星地见传输时需要传输的数据量,有效提高了遥感影像融合的效果和效率,减少了传输成本,且保证了目标融合影像的数据时效性。
-
-
-
-
-
-
-
-
-