-
公开(公告)号:CN117666971B
公开(公告)日:2024-04-30
申请号:CN202410136688.X
申请日:2024-01-31
Applicant: 之江实验室
IPC: G06F3/06 , G06F18/214
Abstract: 在本说明书提供的一种工业领域的数据存储方法、装置及设备中,通过响应于训练目标模型的原始数据的存储请求,确定目标模型的模型类型、训练完成的回归模型以及若干待选存储地址。针对每个待选存储地址,将原始数据、第一公式以及该待选存储地址输入回归模型,得到该待选存储地址的训练效果;根据各待选存储地址的训练效果,从各待选存储地址中,确定目标存储地址,并将原始数据存储至目标存储地址。通过计算存储请求中原始数据的不同待存储地址的训练效果,确定原始数据的目标存储地址,并将原始存储至目标存储地址,达到了根据数据训练的效果的对数据进行存储的目标。
-
公开(公告)号:CN116776135A
公开(公告)日:2023-09-19
申请号:CN202311072802.9
申请日:2023-08-24
Applicant: 之江实验室
IPC: G06F18/2136 , G06N3/0464
Abstract: 本说明书公开了一种基于神经网络模型的物理场数据预测方法及装置,可以根据物理场数据整体在数据空间中各空间区域的数据稀疏情况,来对物理场数据进行划分,得到各分块数据,这样可以将具有计算价值的数据从物理场数据的整体中分割出来,使得预测模型对有价值的分块数据进行计算,以完成物理场数据的预测任务,从而相比于现有技术来说,可以显著的提升预测模型的运算效率。
-
公开(公告)号:CN116225192A
公开(公告)日:2023-06-06
申请号:CN202310509059.2
申请日:2023-05-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种散热系统的控制方法、装置、存储介质及电子设备,本说明书实施例先根据历史上散热系统对计算集群散热时的各历史记录中确定出用于控制散热的各策略组合,针对每个策略组合,对各历史记录进行处理,确定在该策略组合下特征向量涉及的至少一个特征维度所对应的特征值范围,作为该策略组合的适用条件。根据每个策略组合的适用条件,构建模型,并通过模型输出的目标策略组合控制散热系统。在此方法中,通过对各历史记录进行分析,确定出采用每个策略组合所适用的条件。当需要控制散热系统时,将当前散热系统和计算集群的状态信息与各条件进行匹配,以确定出匹配上的条件所对应的目标策略组合,以控制散热系统。
-
公开(公告)号:CN119277369A
公开(公告)日:2025-01-07
申请号:CN202411812383.2
申请日:2024-12-10
Applicant: 之江实验室
IPC: H04W12/041 , H04W12/033 , H04B7/185 , H04L9/08 , H04L9/32 , H04L9/40
Abstract: 本说明书公开了一种数据传输方法、装置、介质及设备。获取采集的遥感数据。确定随机数,并基于随机数确定对称密码算法的对称密钥。确定遥感数据的数据摘要信息,以及根据卫星私钥,对数据摘要信息进行数字签名。将数字签名后的数据摘要信息、遥感数据以及卫星公钥,通过对称密钥进行加密,得到加密数据。通过地面基站的公钥,对对称密钥进行非对称加密,得到加密密钥。将加密数据与加密密钥组成数据包,并将数据包发送至地面基站,使得地面基站根据地面基站的私钥解密所述数据包中的加密密钥,得到对称密钥,并通过对称密钥解密加密数据,以得到遥感数据。
-
公开(公告)号:CN117666971A
公开(公告)日:2024-03-08
申请号:CN202410136688.X
申请日:2024-01-31
Applicant: 之江实验室
IPC: G06F3/06 , G06F18/214
Abstract: 在本说明书提供的一种工业领域的数据存储方法、装置及设备中,通过响应于训练目标模型的原始数据的存储请求,确定目标模型的模型类型、训练完成的回归模型以及若干待选存储地址。针对每个待选存储地址,将原始数据、第一公式以及该待选存储地址输入回归模型,得到该待选存储地址的训练效果;根据各待选存储地址的训练效果,从各待选存储地址中,确定目标存储地址,并将原始数据存储至目标存储地址。通过计算存储请求中原始数据的不同待存储地址的训练效果,确定原始数据的目标存储地址,并将原始存储至目标存储地址,达到了根据数据训练的效果的对数据进行存储的目标。
-
公开(公告)号:CN117195997B
公开(公告)日:2024-03-01
申请号:CN202311464150.3
申请日:2023-11-06
Applicant: 之江实验室
IPC: G06N3/08 , G06F18/214 , G06F3/06
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备,在此方法中,待训练模型部署在本地节点的计算区中,并在本地节点中部署高速缓存区以及在计算区中部署数据生成模型。在实际模型训练过程中,将训练所需要的目标数据缓存在高速缓存区中,以便计算区从高速缓存区直接进行数据读取,来进行模型训练,若没有读取到数据,则通过数据生成模型根据索引值生成的目标数据,进一步进行模型训练,并在模型训练过程中,保证模型准确度的情况下,对模型进行模型压缩,来减少模型参量。通过减少对存储区的数据访问次数以及对模型进行模型压缩,从而在一定程度上提高模型训练效率和减少存储资源浪费。(56)对比文件Cedric Spire et al..Learning in theAbsence of Training Data—A GalacticApplication《.International Conference onBayesian Statistics in Action》.2019,第43-51页.王丽等.面向模型并行训练的模型拆分策略自动生成方法《.计算机工程与科学》.2020,第42卷(第09期),第1529-1537页.
-
公开(公告)号:CN116502679A
公开(公告)日:2023-07-28
申请号:CN202310543696.1
申请日:2023-05-15
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/063 , G06N3/08
Abstract: 本说明书公开了一种模型构建方法、装置、存储介质及电子设备,可以对需要进行测试的各候选模型架构进行筛选,以筛选出通过代理模型预测出的性能参数的准确率较低的部分候选模型架构,来通过部署测试模型的方式获得该候选模型架构的真实性能参数,而针对剩余的候选模型架构,可以直接通过代理模型来获取出性能参数,并且可以通过主动学习的方法,在线对代理模型进行训练,从而可以在保证候选模型架构的性能评估准确率的同时,提升自动化构建深度学习模型的效率。
-
公开(公告)号:CN116382599A
公开(公告)日:2023-07-04
申请号:CN202310669715.5
申请日:2023-06-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种面向分布式集群的任务执行方法、装置、介质及设备。所述面向分布式集群的任务执行方法包括:获取样本数据,根据磁盘带宽和本地延迟,以及网络带宽和网络延迟,对样本数据的数量进行划分,将第一样本数量的样本数据存储在各计算节点的本地磁盘,将第二样本数量的样本数据存储在存储节点,针对每个计算节点,将该计算节点的本地磁盘中指定数量的样本数据与其他计算节点的本地磁盘中的样本数据进行交换,得到更新后样本数据,以及,从所述存储节点中读取远端样本数据,根据更新后本地样本数据和远端样本数据,在该计算节点上执行当前训练周期针对目标模型的训练任务。
-
-
-
-
-
-
-