一种视觉语言大模型混合量化方法、装置和电子设备

    公开(公告)号:CN119441513A

    公开(公告)日:2025-02-14

    申请号:CN202510033310.1

    申请日:2025-01-09

    Abstract: 本发明涉及混合量化技术领域,具体涉及一种视觉语言大模型混合量化方法、装置和电子设备,该方法包括:将构建的图像编码器校准集输入预先建立的图像编码器和文本编码器,并从预先定义的混合精度量化的搜索空间中选择量化方案对图像编码器进行训练后量化,基于量化前后图像编码器和文本编码器的输出计算第一量化误差;将多模态校准集输入视觉语言大模型,并从搜索空间中选择量化方案对视觉语言大模型进行混合精度量化,根据量化前后视觉语言大模型的输出计算第二量化误差;将各量化方案及对应的量化误差存入到哈希表中;结合哈希表使用基于策略梯度的强化学习算法来优化生成量化方案的策略。通过哈希表加速量化方案的搜索过程,提高优化效率。

    基于低秩量化大模型的预测方法、装置、电子设备、存储介质和计算机程序产品

    公开(公告)号:CN118886453A

    公开(公告)日:2024-11-01

    申请号:CN202411376160.6

    申请日:2024-09-29

    Abstract: 本公开涉及一种基于低秩量化大模型的预测方法、装置、电子设备、存储介质和计算机程序产品,所述基于低秩量化大模型的预测方法包括:获取预测模型,其中,预测模型为大模型;通过将预测模型中的线性层的参数进行低秩分解,得到第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵;基于第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵,构建与线性层对应的量化低秩模块,其中,量化低秩模块依次包含第一激活量化层、第一线性层、尺度缩放层、第二激活量化层、和第二线性层;通过将预测模型中的线性层替换为量化低秩模块,得到压缩后的预测模型;将输入数据输入到压缩后的预测模型,得到与输入数据对应的预测结果。能够解决模型预测推理速度低下的问题。

    一种基于唇语指令的终端解锁方法

    公开(公告)号:CN110929239B

    公开(公告)日:2021-11-19

    申请号:CN201911045860.6

    申请日:2019-10-30

    Inventor: 兰星 胡庆浩

    Abstract: 本发明涉及一种基于唇语指令的终端解锁方法,在采集过程中,取几帧图像进行人脸的获取,并提取部分关键特征点。在验证过程中,同理提取需要识别人脸的关键特征点,采用facenet网络计算人脸特征的欧氏距离,进行比较阈值判断。在采集时用户可自行设计指令动作,在识别时做出相同动作即可,这样动作指令不易被他人窃取,提高了认证的安全性。同时,该唇语指令解锁方法无需在终端上进行大规模的运算,极大的降低了硬件性能要求,提高了识别速度。本发明能够避免空间内某一象限堆积造成梯度过大的问题,并提高网络学习和训练效率,起到主动学习训练模型的效果,解决了传统的固定指令动作易暴露的问题。

    一种基于CNN的发型推荐系统、方法、设备及存储介质

    公开(公告)号:CN110598097A

    公开(公告)日:2019-12-20

    申请号:CN201910817466.3

    申请日:2019-08-30

    Abstract: 本发明公开了一种基于CNN的发型推荐系统、方法、设备及存储介质,包括参照图片数据化单元、人脸识别单元和评价更新单元;所述参照图片数据化单元对百度云端接口传送的含人脸的发型参考照片进行识别并标签化,使用CNN网络训练并生成发型参照数据库;所述人脸识别单元对用户的人脸进行脸型识别,并定位到具体面部区域,进一步准确添加参照发型;所述评价更新单元汇总不同种脸型在网上的发型评价,结合用户实时使用的评价,对每一款脸型的推荐发型进行排名更新。本发明使用CNN网络学习人脸的特征,通过分割或者关键点的方式训练出一个模型,当输入一个人脸之后会在图像数据库中找到匹配的发型,便于用户更加精准迅速地识别出适合自己的发型。

    深度神经网络的加速与压缩方法及装置

    公开(公告)号:CN108334945A

    公开(公告)日:2018-07-27

    申请号:CN201810088723.X

    申请日:2018-01-30

    Inventor: 程健 胡庆浩

    CPC classification number: G06N3/063 G06N3/082

    Abstract: 本发明属于神经网络技术领域,具体涉及一种深度神经网络的加速与压缩方法及装置。旨在解决现有技术对深度神经网络进行压缩和加速占用大量内存并且精度下降的问题。本发明提供深度神经网络的加速与压缩方法,包括获取原始深度神经网络中各层的输入数据与参数矩阵;基于输入数据与参数矩阵,计算原始深度神经网络中各层的二值矩阵与浮点系数;将二值矩阵替换原始深度神经网络各层的参数矩阵,并在原始深度神经网络中构建尺度因子层,基于浮点系数初始化尺度因子层的参数,得到新的深度神经网络。本发明的方案能够将神经网络的网络参数二值化,占用更少的内存且提升精度。

    可调节量化位宽的神经网络量化与压缩的方法及装置

    公开(公告)号:CN107480770A

    公开(公告)日:2017-12-15

    申请号:CN201710624244.0

    申请日:2017-07-27

    Abstract: 本发明涉及神经网络技术领域,具体提出一种卷积神经网络量化与压缩的方法及装置。旨在解决现有对神经网络量化与压缩的方法对网络性能造成较大损失的问题。本发明的方法包括获取原始卷积神经网络的权值张量和输入特征张量,并基于预先设定的量化位宽,对权值张量和输入特征张量进行定点量化,并将得到的权值定点表示张量以及输入特征定点表示张量替换原来的权值张量和输入特征张量,得到对原始卷积神经网络量化与压缩后的新的卷积神经网络。本发明能够根据不同的任务需要灵活地调整位宽,无需调整算法结构和网络结构即可实现对卷积神经网络的量化与压缩,减少对内存以及存储资源的占用。本发明还提出一种存储装置和处理装置,具有上述有益效果。

Patent Agency Ranking