-
公开(公告)号：CN116128046B
公开(公告)日：2023-07-18
申请号：CN202310400435.4
申请日：2023-04-14
Applicant: 杭州国芯科技股份有限公司
IPC: G06N3/082
Abstract: 本发明公开了嵌入式设备的多输入神经网络模型串行块的存储方法。本发明方法提出了一种多输入神经网络模型结构，该结构要求神经网络模型按照数据更新频率的不同分为多个串行块，每个串行块包含一层或多层神经网络。通过遍历所有存储情况，并进行多输入神经网络模型的运行，测量和记录每种存储情况的功耗和运行时间数据，选取功耗最低，并满足运行时间要求的存储方案，作为最终串行块部署方案。本发明通过对网络模型结构的优化，以及对应此结构的部署优化，降低该神经网络部署在端侧嵌入式设备上的算力需求，运行功耗要求。从而使得嵌入式设备可以部署更大规模的多输入神经网络模型，以提升模型的可配置性和泛化能力。
-
公开(公告)号：CN109859281B
公开(公告)日：2022-12-02
申请号：CN201910073303.9
申请日：2019-01-25
Applicant: 杭州国芯科技股份有限公司
Abstract: 本发明涉及一种稀疏神经网络的压缩编码方法。本发明首先进行量化和预处理，根据稀疏程度选择压缩编码方法：稀疏度S≥ε2时，采用零游程和k阶指数哥伦布组合编码；稀疏度ε1＜S＜ε2时，采用k阶GX编码；稀疏度S≤ε1时，采用k阶指数哥伦布编码；ε1和ε2为设定阈值。k阶GX编码方法是：若预处理完成数据为0，直接编码为二进制形式的1，若大于0，以二进制形式表示，不足k位，高位补0，去掉该二进制比特序列的低k位后得到的序列转换为十进制数y；若高位补0后为k位，则y为0；计算y+1二进制形式的最低有效位数LSB，先输出LSB个0，然后输出y+1比特序列，将去掉的k位二进制序列放在输出的最低位之后，得到编码后码字。本发明利用了稀疏神经网络权重矩阵分布特性，具有更高的压缩率和更低的实现复杂度。
-
公开(公告)号：CN112527206A
公开(公告)日：2021-03-19
申请号：CN202011500074.3
申请日：2020-12-17
Applicant: 杭州国芯科技股份有限公司
Abstract: 本发明公开了一种神经网络量化存储方法。本发明方法首先将长度为L位的数据由高到低逐位判断是否为零，找到第一个非零数值对应的位置；如果数据为无符号数据，设定有效位数n，从第一个非零位置截取长度为n的数据进行存储，如果到第L‑n位依旧为零，保留L‑n位到L‑1位的数据段，添加标志位后进行存储；如果数据为有符号数据，设定有效位数m，从第一个非零位置截取长度为m的数据进行存储，如果到第L‑m+1位依旧为零，保留L‑m+1位到L‑1位的数据段，添加标志位、符号位后进行存储。本发明方法按照有效位数进行量化存储，过滤了高位为零的数据以及低位对神经网络预测精度影响较小的数据，大幅节约了存储空间和硬件算力。
-
公开(公告)号：CN111310897A
公开(公告)日：2020-06-19
申请号：CN202010090723.0
申请日：2020-02-13
Applicant: 杭州国芯科技股份有限公司
Abstract: 本发明公开了一种神经网络终端部署微调训练方法。本发明方法具体步骤是：S0生成原始模型；S1生成原始推断模型；S2编译优化；S3部署模型运行测试集；S4测试准确率是否达到目标，若未达到则执行S5；S5部署模型运行训练集；S6原模型进行训练，结果用部署模型结果替代；S7生成新模型，执行步骤S2。本发明方法修改简单可以降低开发神经网络部署准确率微调训练工程的难度和工作量，并且通用性好，对于各种编译优化导致的推断误差都可以进行训练从而提高部署模型的准确率。
-
公开(公告)号：CN109887006A
公开(公告)日：2019-06-14
申请号：CN201910086650.5
申请日：2019-01-29
Applicant: 杭州国芯科技股份有限公司
Abstract: 本发明涉及一种基于帧差法加速神经网络运算的方法。本发明方法对参考帧通过神经网络各层进行运算，保存线性矩阵运算的输入值和运算结果；对除参考帧以外各帧的处理包括线性矩阵运算部分和非线性运算部分。线性矩阵运算部分：将神经网络的连续输入序列的第k帧xn,k减去前m帧xn,k-m，通过小值清零变换得到Δxn,k，将Δxn,k作为第n层输入，得到线性矩阵运算输出Δyn,k，得到第n层第k帧的线性输出结果yn,k，进而得到第n层的非线性运算输出结果yn,k′；将yn,k′-yn,k-m′通过小值清零变换后的结果作为第n+1层神经网络线性矩阵运算的帧差值Δxn+1,k，最终得到第n+1层第k帧的线性矩阵运算输出结果yn+1,k；依次类推，直到最终输出结果。对于神经网络非线性运算部分采用常规方法运算。本发明方法可以加速神经网络运算，减少神经网络运算时间。
-
Patent Agency Ranking
公开(公告)号：CN109635936A
公开(公告)日：2019-04-16
申请号：CN201811641867.X
申请日：2018-12-29
Applicant: 杭州国芯科技股份有限公司
CPC classification number: G06N3/0454 , G06N3/08
Abstract: 本发明涉及一种基于重训练的神经网络剪枝量化方法。本发明方法首先载入已训练好的神经网络模型，对训练好的神经网络模型中的权重和数据同时进行剪枝处理和量化处理，对权重更新以及迭代重训练，将完成重训练得到的神经网络模型进行测试集评估，依据评估结果判断是否保存该模型；同时根据设定的条件，判断是否重新进行下一轮重训练；最后依据神经网络模型压缩比评价指标，从保存的模型中输出最优的剪枝量化模型。本发明方法将剪枝量化技术加入到深度网络重训练中，对模型的权重和数据同时做剪枝量化处理，通过重训练，得到一种更适合于推断的权重分布，在保持原模型精度下，取得较好的网络压缩收益，提升神经网络模型在实际推断中的速度。
-
公开(公告)号：CN108122031A
公开(公告)日：2018-06-05
申请号：CN201711379852.6
申请日：2017-12-20
Applicant: 杭州国芯科技股份有限公司
IPC: G06N3/063
Abstract: 本发明涉及一种低功耗的神经网络加速器架构。现有技术功耗高、启动慢，数据吞吐量大。本发明包括CPU、神经网络加速模块、只读存储模块、内部可读写随机存储器、外部可读写随机存储器、可读写非易失性存储器、电源管理模块、两个电源域。神经网络加速模块，用于对神经网络的命令进行硬件加速，并支持权重拆分和按结构拆分的神经网络；只读存储模块，用于存储固化的神经网络权重参数和结构参数；内部可读写随机存储器为SRAM，外部可读写随机存储器为DRAM；两个电源域分为高频开启电源域A和低频开启电源域B。本发明升级过程中不需要更换所有掩膜，只需要更改其中一层掩膜，大幅降低了升级成本。
-
公开(公告)号：CN107885509A
公开(公告)日：2018-04-06
申请号：CN201711013715.0
申请日：2017-10-26
Applicant: 杭州国芯科技股份有限公司
Abstract: 本发明涉及一种基于安全的神经网络加速器芯片架构。本发明包括神经网络加速模块、一次性可烧写模块、内容解密模块、片外安全区域管理模块。神经网络加速模块用于对神经网络的命令进行硬件加速。一次性可烧写模块用于对内容解密模块的密钥管理和片外安全区域划分的地址管理。内容解密模块用于对加密的神经网络命令和参数进行解密操作。片外安全区域管理模块用于根据一次性可烧写模块硬连接的片外安全区域对各个模块访问片外存储器时的权限进行控制。所述的神经网络加速模块包括安全管理模块和可编程运算单元。采用本发明提出的技术方案，即使黑客知晓整个内容保护流程，也无法导出神经网络模型。
-
公开(公告)号：CN115882866A
公开(公告)日：2023-03-31
申请号：CN202211730578.3
申请日：2022-12-30
Applicant: 杭州国芯科技股份有限公司
IPC: H03M7/40
Abstract: 本发明公开了一种基于数据差值特征的数据压缩方法。本发明方法包括生成压缩码表阶段和数据压缩阶段。生成码表时，首先将数据分段，将数据段的第一个数据保留，之后的数据分别与前一个数据做差值，统计差值特征生成压缩压缩码表。数据压缩时，使用同样步骤得到数据差值分布，利用压缩码表对数据进行编码，使得数据的总长度减小，最后输出压缩数据段。本发明方法根据数据间的差值分布特征生成码表，对数据进行了无损压缩，并针对硬件设备的特性，对数据进行分段压缩，可并行化操作，从而提高压缩和传输效率，节约了传输带宽。
-
公开(公告)号：CN108122031B
公开(公告)日：2020-12-15
申请号：CN201711379852.6
申请日：2017-12-20
Applicant: 杭州国芯科技股份有限公司
IPC: G06N3/063
Abstract: 本发明涉及一种低功耗的神经网络加速器架构。现有技术功耗高、启动慢，数据吞吐量大。本发明包括CPU、神经网络加速模块、只读存储模块、内部可读写随机存储器、外部可读写随机存储器、可读写非易失性存储器、电源管理模块、两个电源域。神经网络加速模块，用于对神经网络的命令进行硬件加速，并支持权重拆分和按结构拆分的神经网络；只读存储模块，用于存储固化的神经网络权重参数和结构参数；内部可读写随机存储器为SRAM，外部可读写随机存储器为DRAM；两个电源域分为高频开启电源域A和低频开启电源域B。本发明升级过程中不需要更换所有掩膜，只需要更改其中一层掩膜，大幅降低了升级成本。
-
-
-
-
-
-
-
-
-
Search Results
26
records
(took 0.027 seconds)
