可调节量化位宽的神经网络量化与压缩的方法及装置

    公开(公告)号:CN107480770A

    公开(公告)日:2017-12-15

    申请号:CN201710624244.0

    申请日:2017-07-27

    Abstract: 本发明涉及神经网络技术领域,具体提出一种卷积神经网络量化与压缩的方法及装置。旨在解决现有对神经网络量化与压缩的方法对网络性能造成较大损失的问题。本发明的方法包括获取原始卷积神经网络的权值张量和输入特征张量,并基于预先设定的量化位宽,对权值张量和输入特征张量进行定点量化,并将得到的权值定点表示张量以及输入特征定点表示张量替换原来的权值张量和输入特征张量,得到对原始卷积神经网络量化与压缩后的新的卷积神经网络。本发明能够根据不同的任务需要灵活地调整位宽,无需调整算法结构和网络结构即可实现对卷积神经网络的量化与压缩,减少对内存以及存储资源的占用。本发明还提出一种存储装置和处理装置,具有上述有益效果。

    基于张量分解的深度卷积神经网络的加速与压缩方法

    公开(公告)号:CN106127297A

    公开(公告)日:2016-11-16

    申请号:CN201610387878.4

    申请日:2016-06-02

    CPC classification number: G06N3/04 G06N3/06

    Abstract: 本发明公开了一种基于张量分解的深度卷积神经网络的加速与压缩方法。其中,所述方法至少包括:步骤1:获取原始深度卷积神经网络;步骤2:对所述原始深度卷积神经网络中各层的权值张量进行张量分解,得到多个低秩子张量;步骤3:用所述多个低秩子张量替换所述原始深度卷积神经网络中各层的权值张量,获得新的深度卷积神经网络。通过本发明实施例,实现了大型深度卷积神经网络的加速与压缩。

    一种双人跳水同步性自动分析方法

    公开(公告)号:CN101470898B

    公开(公告)日:2012-04-11

    申请号:CN200710304226.0

    申请日:2007-12-26

    Abstract: 本发明提出双人跳水同步性分析的方法,主要包括:双人跳水动作视频中,基于动态背景重建的运动目标提取;基于跳水规则中同步性评分要素的同步性特征的表示和提取;采用偏好性统计学习方法构造同步性评价函数来进行同步性评价的方法。本发明能自动提取双人跳水动作视频中的运动员外轮廓。本发明根据跳水规则提出了有效的表示同步性特征的方法。本发明还把偏好性统计学习中常用的排序的思想引入到双人跳水动作视频的同步性评价函数构造问题中,把绝对分值问题转化成相对排序问题。最终,通过计算双人跳水动作视频的同步性评价函数值能够对双人跳水的同步性进行自动评定。本发明能够准确有效地自动评判双人跳水的同步性。

    一种对电影人脸图像进行自动标识的方法

    公开(公告)号:CN101833569A

    公开(公告)日:2010-09-15

    申请号:CN201010141915.6

    申请日:2010-04-08

    Abstract: 本发明涉及一种对电影人脸图像进行自动标识的方法,该方法包括:步骤1:利用多视角的人脸检测和跟踪器,在电影视频中自动获取人脸序列并进行聚类以对应不同的人物;步骤2:根据不同人物的人脸序列在相同场景中共同出现的频次度量人脸之间关系,建立人脸关系网络;步骤3:利用计算机从电影剧本数据库下载并存储与电影视频相对应的纯文本电影剧本,计算机统计纯文本电影剧本中不同人物的姓名在相同场景中共同出现的频次;步骤4:依据频次来度量人名之间的关系,建立人名关系网络;步骤5:计算机将人脸关系网络和人名关系网络的人脸无向图和人名无向图进行匹配,实现人脸关系网络和人名关系网络中顶点之间的匹配,实现将人脸和人名融合的标识。

    一种交互式图像检索方法
    37.
    发明授权

    公开(公告)号:CN101377776B

    公开(公告)日:2010-06-30

    申请号:CN200710121079.3

    申请日:2007-08-29

    Abstract: 本发明基于移动虚拟分类面的交互式图像检索方法,采用移动虚拟分类面选取图像的数据点;对图像数据点进行逐一标注;利用前一个标注的图像数据点选取下一个图像数据点;利用标注的图像数据点查找访问图像,完成交互式图像检索。在图像检索的相关反馈过程中,主动学习常常被用来减轻人工标注的数据量,其主要思想是每次仅仅选取信息量最大的数据进行标注。传统的成批标注的方法忽略了数据点之间的关系,因此不够高效。本发明提出移动虚拟分类面选点策略,利用前一个标注的数据去为下一个数据的选取提供指导,从而在不增加标注数据量的条件下提高了所标注数据总的信息量。移动虚拟分类面选点策略使主动学习算法性能得到了显著提高。

    大模型微调方法、装置、设备、介质及程序产品

    公开(公告)号:CN118673999B

    公开(公告)日:2024-12-06

    申请号:CN202411141783.5

    申请日:2024-08-20

    Abstract: 本申请提供一种大模型微调方法、装置、设备、介质及程序产品,涉及人工智能技术领域。所述方法包括:对大模型中的每个自注意力层,构建重参数化因子;重参数化因子的数量为多个;重参数化因子为多头权重;基于重参数化因子,构建静态多头自注意力权重;基于静态多头自注意力权重与初始自注意力图,确定第一微调模块;基于目标前馈神经网络层与低秩适配器参数,确定第二微调模块;低秩适配器参数包括多个低秩矩阵;基于第一微调模块与第二微调模块,在训练数据上进行大模型部分参数的调整。本申请提供的大模型微调方法、装置、设备、介质及程序产品,可以将线性层的重参数化手段和注意力机制的微调结合起来,能够全面又高效地进行大模型微调。

    基于卷积的大模型微调加速方法及装置

    公开(公告)号:CN119006959A

    公开(公告)日:2024-11-22

    申请号:CN202411455251.9

    申请日:2024-10-17

    Inventor: 胡庆浩 程健

    Abstract: 本公开涉及人工智能领域,提供一种基于卷积的大模型微调加速方法及装置,所述方法包括:获取经过预训练的大模型和微调训练数据;在所述大模型的自注意力模块中引入卷积模块,得到初始微调模型;在固定所述大模型的参数的条件下,利用所述微调训练数据,对所述初始微调模型进行训练,得到微调训练模型;基于所述微调训练模型,得到经过微调的大模型。本公开可以解决对大模型进行微调训练可能会遇到训练内存占用高、训练速度慢、预训练知识遗忘的问题,实现模型对微调训练数据的加速学习,优化模型在微调训练数据所属的任务或领域中的表现。

Patent Agency Ranking