-
公开(公告)号：CN117171577A
公开(公告)日：2023-12-05
申请号：CN202311450171.X
申请日：2023-11-02
Applicant: 之江实验室
IPC: G06F18/214
Abstract: 本说明书公开了一种高性能算子选择的动态决策方法及装置，包括：在选择模型中特定算子应该由算子库中具体的哪一个算子实现时，需要定位到模型中特定算子的shape特征的特征区间下，并确定该特征区间下的性能排序子表是否被更新过，若是，则可以直接通过该特征区间下更新好的性能排序子表选取出目标算子，若还未更新，则在模型训练阶段可以在每一轮训练时选取不同的算子在模型中进行训练，从而得到算子的性能分数，对性能排序子表进行更新，那么在后续训练这个模型（或者其他模型中需要相同特征区间下的shape特征的算子）时，可以直接使用该性能排序子表选取出合适的算子，从而相比于现有技术能够更加准确的选择出性能良好的算子。
-
公开(公告)号：CN116415103A
公开(公告)日：2023-07-11
申请号：CN202310681557.5
申请日：2023-06-09
Applicant: 之江实验室
IPC: G06F17/16
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质以及电子设备，可以读取存储在指定设备内存的目标数据，并确定目标数据的各数据维度，可以根据目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元可以包括：指定设备中的寄存器以及各级缓存。以按照目标数据拆分方式，对神经网络模型中的待处理数据进行数据处理，从而能够提高神经网络模型中矩阵运算的效率。
-
公开(公告)号：CN116881618B
公开(公告)日：2024-06-04
申请号：CN202311078065.3
申请日：2023-08-25
Applicant: 之江实验室
Abstract: 本申请涉及一种通用矩阵乘计算优化方法、装置及处理器，该方法应用于处理器，处理器包括至少一个计算核心，计算核心包括算术逻辑单元、数据缓存和寄存器，包括：基于算术逻辑单元的宽度、寄存器的数量、数据缓存的容量，以及预先确定的用于构成通用矩阵乘算子内核的计算核心数量，确定通用矩阵乘算子内核的尺寸；基于算子内核的尺寸、预先确定的基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，优化并行计算的计算核心数量；基于并行计算的计算核心数量、基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，对数据缓存中通用矩阵乘计算区域的分块计算进行优化，解决了通用矩阵乘计算硬件资源利用率较低，数据访存开销较大的问题。
-
公开(公告)号：CN117892769A
公开(公告)日：2024-04-16
申请号：CN202410296736.1
申请日：2024-03-15
Applicant: 之江实验室
Abstract: 本申请涉及一种神经网络训练方法、显存调度方法、系统、设备和产品，通过对第一神经网络在训练过程中的多个张量执行显存调度，记录各张量在显存调度期间对应的显存信息和重用距离，显存信息包括对应于各张量的显存占用量、显存利用率以及适用于各张量的显存释放模式；以各张量的显存占用量、显存利用率和重用距离作为样本数据的输入，以适用于各张量的显存释放模式作为样本数据的输出，构建训练数据集；根据训练数据集训练初始的第二神经网络，得到经训练的第二神经网络，经训练的第二神经网络可作为线上显存优化的决策引擎，使得决策引擎能够适用于多GPU训练场景的显存调度。
-
公开(公告)号：CN117149778B
公开(公告)日：2024-01-16
申请号：CN202311414028.5
申请日：2023-10-30
Applicant: 之江实验室
IPC: G06F16/22 , G06F16/2455
Abstract: 本申请涉及稀疏张量运算加速领域，特别是涉及一种稀疏张量运算加速方法、系统、计算机设备和存储介质，所述方法包括：读取两稀疏张量的压缩表示元数据信息，确定各稀疏张量中非零元素被标记为无效计算元素时所对应的另一个稀疏张量的起始非缩并维度索引和终止非缩并维度索引，并以键值对的形式存储在无效计算元素标记范围映射表中；对所述两稀疏张量进行自适应协同分块，得到所述两稀疏张量的预分块信息；基于所述无效计算元素标记范围映射表以及所述两稀疏张量的预分块信息，得到最终分块；将所述最终分块依次搬运至更内层缓存，直至完成计算。本发明减少运行时稀疏张量数据分块划分的重复性操作，进一步节省稀疏张量运算时间。
-
Patent Agency Ranking
公开(公告)号：CN117149778A
公开(公告)日：2023-12-01
申请号：CN202311414028.5
申请日：2023-10-30
Applicant: 之江实验室
IPC: G06F16/22 , G06F16/2455
Abstract: 本申请涉及稀疏张量运算加速领域，特别是涉及一种稀疏张量运算加速方法、系统、计算机设备和存储介质，所述方法包括：读取两稀疏张量的压缩表示元数据信息，确定各稀疏张量中非零元素被标记为无效计算元素时所对应的另一个稀疏张量的起始非缩并维度索引和终止非缩并维度索引，并以键值对的形式存储在无效计算元素标记范围映射表中；对所述两稀疏张量进行自适应协同分块，得到所述两稀疏张量的预分块信息；基于所述无效计算元素标记范围映射表以及所述两稀疏张量的预分块信息，得到最终分块；将所述最终分块依次搬运至更内层缓存，直至完成计算。本发明减少运行时稀疏张量数据分块划分的重复性操作，进一步节省稀疏张量运算时间。
-
公开(公告)号：CN116991429A
公开(公告)日：2023-11-03
申请号：CN202311266395.5
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F8/41 , G06F18/214
Abstract: 本申请涉及一种计算机程序的编译调优方法、装置和存储介质，其中，该编译调优方法包括：选择样本硬件集合和样本程序集合并为每个样本程序随机生成优化序列，对每种样本程序与优化序列的组合进行编译、特征抽取以及运行，得到训练数据集，基于训练数据集对预设的多任务学习模型进行训练，得到预训练模型，基于预训练模型进行成本函数模型的初始化，得到目标成本函数模型，利用该目标成本函数模型对目标源程序进行调优，得到目标源程序的最优优化序列。通过本申请，解决了相关技术中计算机程序编译调优效率低下的问题，提高了计算机程序的编译调优效率。
-
公开(公告)号：CN116795324A
公开(公告)日：2023-09-22
申请号：CN202310810589.0
申请日：2023-07-03
Applicant: 之江实验室
Abstract: 本申请涉及一种混合精度浮点乘法装置和混合精度浮点数处理方法。所述装置通过指数偏置模块确定从寄存器中获取的至少两个浮点操作数的偏置，将各浮点操作数的偏置输入至对应的第一加法器以及将其结果输出至第二加法器，通过第一加法器利用各浮点操作数的偏置分别对各浮点操作数对应的指数进行偏置处理，确定各浮点操作数的偏置指数值，通过第二加法器对各浮点操作数的偏置指数值进行加法运算，得到中间指数值，通过精度转换单元，用于根据乘法单元输出的浮点数精度标注位确定目标浮点操作数的目标精度，基于目标精度对乘法单元输出的中间尾数和中间指数值进行转换，完成目标操作数的精度转换。采用本装置能够提高混合精度计算效率。
-
公开(公告)号：CN116415103B
公开(公告)日：2023-09-05
申请号：CN202310681557.5
申请日：2023-06-09
Applicant: 之江实验室
IPC: G06F17/16
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质以及电子设备，可以读取存储在指定设备内存的目标数据，并确定目标数据的各数据维度，可以根据目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元可以包括：指定设备中的寄存器以及各级缓存。以按照目标数据拆分方式，对神经网络模型中的待处理数据进行数据处理，从而能够提高神经网络模型中矩阵运算的效率。
-
公开(公告)号：CN117950645A
公开(公告)日：2024-04-30
申请号：CN202410339678.6
申请日：2024-03-25
Applicant: 之江实验室
Abstract: 本发明提供一种基于硬件特征的算子调度方案自动搜索方法与系统。该方法是通过获取算子输入数据的维度信息、目标硬件的硬件特征以及包含各存储层级的容量和硬件指令支持情况；再根据目标硬件的存储层级从高到低，递归地在每一个层级上，基于贪心策略搜索该层级可接受的最佳可行的数据搬运方案；其中各层级的数据搬运方案共同构成算子的调度方案；最后进行性能评估。基于搜索到的若干个算子调度方案，通过CodeGen技术生成目标硬件上的若干个算子实现，进而在硬件上测试选出性能最优的算子调度方案。因此，本发明的技术方案能够节省算力的情况下保证算子调度的优化。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.023 seconds)
