-
-
公开(公告)号：CN116306856B
公开(公告)日：2023-09-05
申请号：CN202310557259.5
申请日：2023-05-17
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于搜索的深度学习模型部署方法及装置，可以获取深度学习模型所对应的计算图，确定计算图中包括的算子，并确定每个算子匹配的硬件资源，而后，根据各算子匹配的硬件资源，构建搜索空间，从搜索空间中选取出目标样本，并确定目标样本对应的运行时长，以及确定目标样本对应的邻域样本，并确定邻域样本对应的运行时长，若邻域样本对应的运行时长短于目标样本的运行时长，将邻域样本作为重新确定出的目标样本，并继续确定目标样本对应的邻域样本以及对应的运行时长，直到满足预设迭代终止条件为止，按照目标样本所对应的分配方案，对深度学习模型的算子进行硬件资源的分配，以进行部署，本方法可以提高深度学习模型的计算效率。
-
公开(公告)号：CN116306855B
公开(公告)日：2023-09-01
申请号：CN202310555078.9
申请日：2023-05-17
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于存算一体系统的数据处理方法及装置，根据目标模型确定目标单元的目标数量以及各目标单元对应的控制向量，从存算一体系统的各数据处理单元中选择目标数量的目标单元，进而根据各目标单元对应的控制向量，从各类型的候选操作中，分明别确定各目标单元对应的目标操作，以便将各目标单元的输入分别输入到各目标单元中，对各目标单元的输入采用目标操作执行数据处理，得到目标模型的输出数据。可见，基于目标单元对应的控制向量确定目标单元执行的目标操作的方式，仅通过改变控制向量就能够兼容不同架构的模型，无需进行电路结构的重新设计，扩展了基于存算一体电路的模型推理的场景，并提高了效率。
-
公开(公告)号：CN116663618A
公开(公告)日：2023-08-29
申请号：CN202310941263.1
申请日：2023-07-28
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/063
Abstract: 本说明书公开了一种算子优化方法、装置、存储介质及电子设备。在本说明书提供的算子优化方法中，获取目标神经网络模型，并确定目标神经网络模型的计算图；针对计算图中每个算子，确定包含该算子所有可行解的搜索空间；在搜索空间中选择若干可行解作为候选解，确定各候选解的评估值，并将评估值最高的作为待定解；确定目标硬件运行待定解的运行时间，并增加迭代次数；当运行时间小于当前最优时间或不存在当前最优时间时，将运行时间确定为当前最优时间，并将待定解确定为当前最优解；当迭代次数小于指定次数时，重新在该算子的搜索空间中选择指定数量个未被选择过的候选解；当迭代次数不小于指定次数时，将当前最优解确定为该算子的最优解。
-
公开(公告)号：CN116628198A
公开(公告)日：2023-08-22
申请号：CN202310515566.7
申请日：2023-05-08
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/169 , G06F40/186
Abstract: 本说明书公开了一种文本生成模型的训练方法、装置、介质及电子设备，包括：先将从通用文本数据集中确定出的原始文本输入预先训练的类型识别模型，确定原始文本的模板标注。再根据模板标注，确定模板标注对应的目标模板。然后，根据原始文本、模板标注以及目标模板，生成训练文本生成模型的训练样本，将输入部分输入待训练的文本生成模型，得到输出文本，以样本标注与输出文本之间的差异最小为训练目标，对待训练的文本生成模型进行训练，增加了训练文本生成模型的训练样本，使得可以在训练样本较少的情况下，训练文本生成模型，使得文本生成模型训练效果好，提高文本生成模型的输出文本的准确性。
-
Patent Agency Ranking
公开(公告)号：CN116579308A
公开(公告)日：2023-08-11
申请号：CN202310819781.6
申请日：2023-07-06
Applicant: 之江实验室
IPC: G06F40/166 , G06F40/14 , G06F40/109 , G06F40/258 , G06F40/237 , G06F40/284 , G06F40/216
Abstract: 本发明公开了一种演示文稿生成方法及装置，该方法包括：获取生成演示文稿的主题，基于预先构建并训练完成的文本生成模块，得到演示文稿的二级标题和每个二级标题下的文字内容；将所述演示文稿的主题、二级标题和每个二级标题下的文字内容结构化得到若干部分，将每个部分作为一页演示文稿，对除了首页和目录页以外的其他页进行关键词提取；基于提取出的关键词，通过文本生成图像模块生成各页演示文稿对应的配图图像；把划分后的文字内容和对应页的配图图像进行自动排版，得到完整的演示文稿。
-
公开(公告)号：CN116069512B
公开(公告)日：2023-08-04
申请号：CN202310286991.3
申请日：2023-03-23
Applicant: 之江实验室
Abstract: 本发明提公开了一种基于强化学习的Serverless高效资源分配方法及系统，该方法是通过对尾延迟、决策频率以及资源效率关系的观察，在最小化无服务器系统的资源配置消耗的同时，保障设置的性能延迟目标。该方法充分利用高频率管理带来的资源高效管理优点，通过观察每个请求的状态，利用强化学习模型对处理请求的实例资源配置做出决策。针对函数工作流多阶段运行的特性并对决策模型的轻量化设计，使得高频率控制层隐藏了时间开销并降低了资源开销。本发明与最新的工作流任务调度系统作比较，提升了CPU利用率，并提供了99%的请求时延SLO（Service Level Objective，服务水平目标）保证，降低了端到端延迟方差。
-
公开(公告)号：CN116415103A
公开(公告)日：2023-07-11
申请号：CN202310681557.5
申请日：2023-06-09
Applicant: 之江实验室
IPC: G06F17/16
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质以及电子设备，可以读取存储在指定设备内存的目标数据，并确定目标数据的各数据维度，可以根据目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元可以包括：指定设备中的寄存器以及各级缓存。以按照目标数据拆分方式，对神经网络模型中的待处理数据进行数据处理，从而能够提高神经网络模型中矩阵运算的效率。
-
公开(公告)号：CN116401502A
公开(公告)日：2023-07-07
申请号：CN202310680737.1
申请日：2023-06-09
Applicant: 之江实验室
IPC: G06F17/15 , G06F15/177
Abstract: 本发明公开了一种基于NUMA系统特性优化Winograd卷积的方法及装置，该方法首先根据输入参数构建内存数据布局；采用缓存分块搜索方法确定数据分块大小；利用CPU的多核心执行Winograd卷积计算：将数据分块读取到CPU高速缓存，依次执行输入转换、矩阵乘法和输出转换，再将数据分块写回内存。进一步优化Winograd卷积的内存访问从而提升其在NUMA系统上的性能表现。
-
公开(公告)号：CN116306855A
公开(公告)日：2023-06-23
申请号：CN202310555078.9
申请日：2023-05-17
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于存算一体系统的数据处理方法及装置，根据目标模型确定目标单元的目标数量以及各目标单元对应的控制向量，从存算一体系统的各数据处理单元中选择目标数量的目标单元，进而根据各目标单元对应的控制向量，从各类型的候选操作中，分明别确定各目标单元对应的目标操作，以便将各目标单元的输入分别输入到各目标单元中，对各目标单元的输入采用目标操作执行数据处理，得到目标模型的输出数据。可见，基于目标单元对应的控制向量确定目标单元执行的目标操作的方式，仅通过改变控制向量就能够兼容不同架构的模型，无需进行电路结构的重新设计，扩展了基于存算一体电路的模型推理的场景，并提高了效率。
-
-
-
-
-
-
-
-
-
Search Results
156
records
(took 0.049 seconds)
