-
公开(公告)号:CN118377436B
公开(公告)日:2024-09-13
申请号:CN202410821445.X
申请日:2024-06-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的管理方法、装置、存储介质及电子设备。所述模型数据的管理方法包括:获取待存储的模型数据,并按照预设的数据页存储空间,将模型数据划分为若干个第一数据页;基于当前时刻生成的密钥,对每个第一数据页进行加密,得到各加密数据页,并根据各加密数据页生成的散列值对密钥进行加密,得到密钥数据页;构建包含各加密数据页和密钥数据页的数据条,并进行冗余编码,得到至少两个冗余数据页;将数据条中的各数据页和各冗余数据页写入存储设备,并对存储设备中存储的数据进行读取、恢复、更新、删除等数据管理。本方案有效避免了数据泄露以及损坏的风险,提高了数据的安全性。
-
公开(公告)号:CN118627020A
公开(公告)日:2024-09-10
申请号:CN202411110491.5
申请日:2024-08-14
Applicant: 之江实验室
IPC: G06F18/25 , G06N3/0895 , G06N3/09 , G06N3/0455
Abstract: 本发明公开了一种基于对比学习和结构化信息增强多模态特征融合的方法,基于对比学习的多模态网络,通过利用结构化信息构造的正负样本数据,充分挖掘模态特征之间的对应关系,基于对应关系,注入结构化信息增强模态特征的融合;本发明通过对原始数据集中成对的图片、文本对中的文本数据进行结构化处理,获取文本数据中的对象、对象关系、对象属性等信息构造文本语义负样本和结构知识特征,结构知识特征注入到文本特征中后,在对比学习模块中与文本正样本和图片数据一起进行特征对齐,基于对齐特征送入特征融合模块进行特征融合。本发明充分利用文本模态的结构信息进行特征对齐以及利用融合特征进行联合优化,极大地提升了模型的多模态理解能力。
-
公开(公告)号:CN118379605B
公开(公告)日:2024-08-30
申请号:CN202410821436.0
申请日:2024-06-24
Applicant: 之江实验室
IPC: G06V10/96 , G06V10/94 , G06V10/82 , G06V10/44 , G06V10/764 , G06N3/0455 , G06N3/0464 , G06N3/0495 , G06N3/096
Abstract: 本说明书公开了一种图像识别大模型的部署方法、装置及存储介质,本方法应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器,先将能耗消耗较高的自编码器部署在异构存算一体芯片的模拟架构核中,将所述分类器部署在异构存算一体芯片的数字架构核中,以降低能耗。通过获取样本图像,将所述样本图像输入所述自编码器中,得到所述自编码器输出的样本图像特征。根据所述样本图像特征,对部署在所述数字架构核中的分类器进行训练,提高图像识别大模型的精度。也就是说,通过将能耗较高的自编码器部署在能耗消耗较低的模拟架构核中,降低能耗,对部署在数字架构核的分类器进行训练,提高图像识别大模型的精度。
-
公开(公告)号:CN118394607A
公开(公告)日:2024-07-26
申请号:CN202410849946.9
申请日:2024-06-27
Applicant: 之江实验室
Abstract: 本说明书公开了一种计算集群温度告警方法、装置、存储介质及电子设备,包括:获取各服务器的核心芯片的硬件温度,将各硬件温度输入各服务器对应的预先训练的服务器告警模型,确定各服务器分别对应的第一状态。确定通过各传感器采集到的环境温度,并将各第一状态和各环境温度输入预先训练的集群告警模型,确定计算集群对应的告警状态,并根据告警状态,对计算集群进行温度告警。通过具有可解释性的多规则的服务器告警模型,自动化判断服务器的状态,以及通过具有可解释性的多规则的集群告警模型,自动化判断计算集群的告警状态,从而自动化对计算集群的温度进行监测,以避免计算集群的温度出现异常,以防硬件受损或系统崩溃。
-
公开(公告)号:CN118035427B
公开(公告)日:2024-07-23
申请号:CN202410448201.1
申请日:2024-04-15
Applicant: 之江实验室
IPC: G06F16/332 , G06F16/38 , G06F16/532 , G06F16/583 , G06F40/126 , G06F40/289 , G06V10/44 , G06V10/74 , G06N3/045
Abstract: 本发明公开了一种通过3D对比学习增强多模态图文检索的方法及装置,基于3D对比学习的多模态网络,通过属性信息监督模态特征之间的交互,充分挖掘模态之间的对应关系,从而能利用模态之间互补的、对齐的信息;在本发明方法中通过对原始数据集中成对的图片、文本对以及对应的属性信息进行特征抽取获得这三个维度的特征,然后送入到3D对比学习模块中,经过充分对比融合、特征对齐,获得视觉模态和文本模态之间的互补信息以及潜在对应关系。本发明通过3D对比学习增强多模态图片文本的检索,能充分利用图片的视觉模态信息、文本模态信息以及它们共享的属性信息这些特征进行联合优化,从而极大地提升了图片文本的检索准确率。
-
公开(公告)号:CN118377436A
公开(公告)日:2024-07-23
申请号:CN202410821445.X
申请日:2024-06-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的管理方法、装置、存储介质及电子设备。所述模型数据的管理方法包括:获取待存储的模型数据,并按照预设的数据页存储空间,将模型数据划分为若干个第一数据页;基于当前时刻生成的密钥,对每个第一数据页进行加密,得到各加密数据页,并根据各加密数据页生成的散列值对密钥进行加密,得到密钥数据页;构建包含各加密数据页和密钥数据页的数据条,并进行冗余编码,得到至少两个冗余数据页;将数据条中的各数据页和各冗余数据页写入存储设备,并对存储设备中存储的数据进行读取、恢复、更新、删除等数据管理。本方案有效避免了数据泄露以及损坏的风险,提高了数据的安全性。
-
公开(公告)号:CN116340004A
公开(公告)日:2023-06-27
申请号:CN202310429448.4
申请日:2023-04-11
Applicant: 之江实验室
Abstract: 本说明书公开了一种任务执行的方法、装置、存储介质及电子设备。所述任务执行的方法包括:获取目标模型的模型数据,针对每个计算单元,确定该计算单元在每个时间节点之前允许进行针对各微训练批次的反向传播的最大次数,并确定反向传播次数的最大值所对应的时间节点,作为前向传播节点,在至少位于所述前向传播节点之前的各时间节点中确定该计算单元执行针对每个微训练批次的反向传播的时间节点,作为反向传播节点,根据每个计算单元对应的前向传播节点以及每个计算单元对应的反向传播节点,确定针对所述目标模型的训练策略,并基于所述训练策略,执行针对所述目标模型的任务执行任务。
-
公开(公告)号:CN114968588B
公开(公告)日:2025-02-28
申请号:CN202210632036.6
申请日:2022-06-07
Applicant: 之江实验室
Abstract: 本发明公开一种面向多并发深度学习训练任务的数据缓存方法和装置,该方法包括:步骤一,对多并发任务中每个任务执行预热训练,采集任务训练批次样本的特征参数,根据特征参数对所有任务进行排序;步骤二,计算每个任务在系统预分配下每个训练批次样本在缓存空间中的样本数目和每个任务期望每个训练批次样本在缓存空间中的样本数目;步骤三,采用缓存动态分配和管理策略并发执行任务的深度学习训练;步骤四,当各任务进入最后一个训练周期时,不再有新的样本数据加入这些任务的缓存空间,同时随着缓存空间内的样本数据被逐渐使用消耗,被占用的缓存空间逐步被释放,被释放的缓存空间被其他尚未结束的任务使用。本发明提高了全局缓存空间的利用率。
-
-
公开(公告)号:CN118642661B
公开(公告)日:2024-11-08
申请号:CN202411092481.3
申请日:2024-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种分布式深度学习缓存数据存储的方法和装置,其方法包括:使用细粒度的缓存数据布局方法,充分利用下一周期的随机访问序列指导数据在缓存节点的布局,然后以异步方式动态地将每个样本数据精确迁移到目标缓存节点,并将每个训练进程的数据摄取请求动态调度到目标缓存节点,使得任一时间段内各缓存节点收到的数据摄取请求数目都是相当的,从而保证每个缓存节点上的存储、网络等资源都能充分利用,当模型训练任务提升数据载入的并发度时,缓存数据摄取的并发度也相应提升,显著加快模型训练任务摄取数据的速度。
-
-
-
-
-
-
-
-
-