-
公开(公告)号：CN116663618A
公开(公告)日：2023-08-29
申请号：CN202310941263.1
申请日：2023-07-28
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/063
Abstract: 本说明书公开了一种算子优化方法、装置、存储介质及电子设备。在本说明书提供的算子优化方法中，获取目标神经网络模型，并确定目标神经网络模型的计算图；针对计算图中每个算子，确定包含该算子所有可行解的搜索空间；在搜索空间中选择若干可行解作为候选解，确定各候选解的评估值，并将评估值最高的作为待定解；确定目标硬件运行待定解的运行时间，并增加迭代次数；当运行时间小于当前最优时间或不存在当前最优时间时，将运行时间确定为当前最优时间，并将待定解确定为当前最优解；当迭代次数小于指定次数时，重新在该算子的搜索空间中选择指定数量个未被选择过的候选解；当迭代次数不小于指定次数时，将当前最优解确定为该算子的最优解。
-
公开(公告)号：CN116415103A
公开(公告)日：2023-07-11
申请号：CN202310681557.5
申请日：2023-06-09
Applicant: 之江实验室
IPC: G06F17/16
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质以及电子设备，可以读取存储在指定设备内存的目标数据，并确定目标数据的各数据维度，可以根据目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元可以包括：指定设备中的寄存器以及各级缓存。以按照目标数据拆分方式，对神经网络模型中的待处理数据进行数据处理，从而能够提高神经网络模型中矩阵运算的效率。
-
公开(公告)号：CN117950645A
公开(公告)日：2024-04-30
申请号：CN202410339678.6
申请日：2024-03-25
Applicant: 之江实验室
Abstract: 本发明提供一种基于硬件特征的算子调度方案自动搜索方法与系统。该方法是通过获取算子输入数据的维度信息、目标硬件的硬件特征以及包含各存储层级的容量和硬件指令支持情况；再根据目标硬件的存储层级从高到低，递归地在每一个层级上，基于贪心策略搜索该层级可接受的最佳可行的数据搬运方案；其中各层级的数据搬运方案共同构成算子的调度方案；最后进行性能评估。基于搜索到的若干个算子调度方案，通过CodeGen技术生成目标硬件上的若干个算子实现，进而在硬件上测试选出性能最优的算子调度方案。因此，本发明的技术方案能够节省算力的情况下保证算子调度的优化。
-
公开(公告)号：CN116663618B
公开(公告)日：2023-12-05
申请号：CN202310941263.1
申请日：2023-07-28
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/063
Abstract: 本说明书公开了一种算子优化方法、装置、存储介质及电子设备。在本说明书提供的算子优化方法中，获取目标神经网络模型，并确定目标神经网络模型的计算图；针对计算图中每个算子，确定包含该算子所有可行解的搜索空间；在搜索空间中选择若干可行解作为候选解，确定各候选解的评估值，并将评估值最高的作为待定解；确定目标硬件运行待定解的运行时间，并增加迭代次数；当运行时间小于当前最优时间或不存在当前最优时间时，将运行时间确定为当前最优时间，并将待定解确定为当前最优解；当迭代次数小于指定次数时，重新在该算子的搜索空间中选择指定数量个未被选择过的候选解；当迭代次数不小于指定次数时，将当前最优解确定为该
-
公开(公告)号：CN117032936A
公开(公告)日：2023-11-10
申请号：CN202311267177.3
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F9/48 , G06F9/50 , G06F18/214 , G06N3/006
Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算资源消耗高的问题。
-
Patent Agency Ranking
公开(公告)号：CN116402165B
公开(公告)日：2023-09-01
申请号：CN202310669720.6
申请日：2023-06-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种算子检测的方法、装置、存储介质以及电子设备，本说明书提供的算子检测方法可以获取待检测算子，将校验数据输入到该待检测算子中，得到该待检测算子输出的第一结果，以及将该校验数据输入到确定出的与待检测算子对应的至少一个参考算子中，得到经过至少一个参考算子对校验数据进行数据处理后所得到的第二结果，最后，根据第一结果以及所述第二结果，对待检测算子进行检测，本方法通过确定出和待检测算子功能相符的参考算子，并通过相同的校验数据分别输入到待检测算子和参考算子，从而通过将得出的结果进行对比，可以对待检测算子进行检测，提高了深度学习模型中算子的功能准确性。
-
公开(公告)号：CN116402165A
公开(公告)日：2023-07-07
申请号：CN202310669720.6
申请日：2023-06-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种算子检测的方法、装置、存储介质以及电子设备，本说明书提供的算子检测方法可以获取待检测算子，将校验数据输入到该待检测算子中，得到该待检测算子输出的第一结果，以及将该校验数据输入到确定出的与待检测算子对应的至少一个参考算子中，得到经过至少一个参考算子对校验数据进行数据处理后所得到的第二结果，最后，根据第一结果以及所述第二结果，对待检测算子进行检测，本方法通过确定出和待检测算子功能相符的参考算子，并通过相同的校验数据分别输入到待检测算子和参考算子，从而通过将得出的结果进行对比，可以对待检测算子进行检测，提高了深度学习模型中算子的功能准确性。
-
公开(公告)号：CN116881618B
公开(公告)日：2024-06-04
申请号：CN202311078065.3
申请日：2023-08-25
Applicant: 之江实验室
Abstract: 本申请涉及一种通用矩阵乘计算优化方法、装置及处理器，该方法应用于处理器，处理器包括至少一个计算核心，计算核心包括算术逻辑单元、数据缓存和寄存器，包括：基于算术逻辑单元的宽度、寄存器的数量、数据缓存的容量，以及预先确定的用于构成通用矩阵乘算子内核的计算核心数量，确定通用矩阵乘算子内核的尺寸；基于算子内核的尺寸、预先确定的基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，优化并行计算的计算核心数量；基于并行计算的计算核心数量、基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，对数据缓存中通用矩阵乘计算区域的分块计算进行优化，解决了通用矩阵乘计算硬件资源利用率较低，数据访存开销较大的问题。
-
公开(公告)号：CN117149778B
公开(公告)日：2024-01-16
申请号：CN202311414028.5
申请日：2023-10-30
Applicant: 之江实验室
IPC: G06F16/22 , G06F16/2455
Abstract: 本申请涉及稀疏张量运算加速领域，特别是涉及一种稀疏张量运算加速方法、系统、计算机设备和存储介质，所述方法包括：读取两稀疏张量的压缩表示元数据信息，确定各稀疏张量中非零元素被标记为无效计算元素时所对应的另一个稀疏张量的起始非缩并维度索引和终止非缩并维度索引，并以键值对的形式存储在无效计算元素标记范围映射表中；对所述两稀疏张量进行自适应协同分块，得到所述两稀疏张量的预分块信息；基于所述无效计算元素标记范围映射表以及所述两稀疏张量的预分块信息，得到最终分块；将所述最终分块依次搬运至更内层缓存，直至完成计算。本发明减少运行时稀疏张量数据分块划分的重复性操作，进一步节省稀疏张量运算时间。
-
公开(公告)号：CN116861149B
公开(公告)日：2024-01-09
申请号：CN202311136375.6
申请日：2023-09-05
Applicant: 之江实验室
Abstract: 题。本申请涉及一种卷积运算的优化方法、装置及处理器，处理器包括一级缓存，该方法包括：在内存中将卷积运算的输入张量重排为左矩阵，将卷积核重排为右矩阵；将所述左矩阵划分为多个加载矩阵，所述加载矩阵的尺寸基于所述一级缓存的容量确定；将所述多个加载矩阵依次从所述内存加载至所述一级缓存，与所述右矩阵执行矩阵乘计算；将所述多个加载矩阵对应的计算结果累加，得到所述卷积运算的结果，不需要增加输入张量的存储空间，解决了相关技术中存在的将(56)对比文件孙凡.卷积神经网络加速器的实现与优化.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,第2019年卷(第1期),I138-1895.Xiandong Huang等.Evaluating FFT-basedalgorithms for strided convolutions onARMv8 architectures《.PerformanceEvaluation》.2021,1-18.
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.019 seconds)
